Python解决MySQL数据处理从SQL批量删除报错

 更新时间:2023年12月20日 14:09:16   作者:wx65602fa627551  
这篇文章主要为大家介绍了Python解决MySQL数据处理从SQL批量删除报错,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

一、背景

MySQL数据库表中有一批重复的脏数据,为不影响正常业务,需要进行批量删除。数据示例如下图所示:

二、SQL批量删除

首先想到的是编写SQL语句来批量删除:删除身份证号为51****59且ID不为5的全部数据(保留ID为5的那一条数据)

DELETE 
FROM
    test_table 
WHERE
    id IN ( SELECT id FROM test_table WHERE id_card_no = "51****59" AND id != 5 );

运行结果:

删除失败,SQL语句运行时报错了

鉴于当时实际情况需要尽快删除脏数据,就没有在此做过多的考究,原因和解决详见第四小节:SQL运行问题排查

三、Python批量删除

数据准备
将SQL查询到的所有需要删除的数据ID保存到txt文件中

SELECT id FROM test_table WHERE id_card_no = "51****59" AND id != 5;             

读取数据ID

def del_from_mysql():
    # 【读取数据ID】
    with open(file="新建文本文档.txt", mode="r", encoding="utf-8") as f:
        data = f.read()
        f.close()
    ids = data.split("\n")
    print(ids)
if __name__ == "__main__":
    del_from_mysql()

运行结果:

连接数据库执行SQL

这里需要先安装b并导入pymysql第三方库

pip install pymysql

导入

import pymysql
def del_from_mysql(dbinfo):
    # 【读取数据ID】
    with open(file="新建文本文档.txt", mode="r", encoding="utf-8") as f:
        data = f.read()
        f.close()
    ids = data.split("\n")
    # 【连接数据库执行SQL】
    conn = pymysql.connect(**dbinfo)
    cursor = conn.cursor()
    for i in ids:
        sql = f"delete from test_table where id={i}"
        cursor.execute(sql)
        conn.commit()
    conn.close()
if __name__ == "__main__":
    # 数据库信息
    db_info = {
        'host': "192.168.1.1",
        'port': 3306,
        'user': "test",
        'passwd': "test",
        'db': "test_",
        'charset': "utf8"
    }
    del_from_mysql(db_info)

运行结果:

可以看到这时已经完成重复脏数据的删除

四、SQL运行问题排查

前面使用SQL批量删除时遇到了报错:You can't specify target table 'test_table' for update in FROM clause

查阅资料后发现:在Mysql中,delete或者update的where条件中不能包含同一张表的子查询语句,而在where条件中再加一个中间表就能解决此问题

修改后的SQL语句如下:

DELETE 
FROM
    test_table 
WHERE
    id IN ( SELECT * FROM ( SELECT id FROM test_table WHERE id_card_no = "51****59" AND id != 5 ) t1 );

以上就是MySQL数据处理:从SQL批量删除报错到Python优雅解决的详细内容,更多关于Python解决SQL批量删除报错的资料请关注脚本之家其它相关文章!

相关文章

  • Python命令启动Web服务器实例详解

    Python命令启动Web服务器实例详解

    这篇文章主要介绍了Python命令启动Web服务器实例详解的相关资料,需要的朋友可以参考下
    2017-02-02
  • python类名和类方法cls修改类变量的值

    python类名和类方法cls修改类变量的值

    这篇文章主要介绍了python类名和类方法cls修改类变量的值,通过类对象是无法修改类变量的值的,本质其实是给类对象新添加 name 和 age 变量,下文更多的相关介绍需要的小伙伴可任意参考一下
    2022-04-04
  • python常用内置模块你了解吗

    python常用内置模块你了解吗

    这篇文章主要为大家介绍了python的常用内置模块,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-01-01
  • Python实现计算对象的内存大小示例

    Python实现计算对象的内存大小示例

    这篇文章主要介绍了Python实现计算对象的内存大小,结合实例形式分析了Python使用sys.getsizeof与递归算法计算对象占用内存的相关操作技巧,需要的朋友可以参考下
    2019-07-07
  • Python with语句和过程抽取思想

    Python with语句和过程抽取思想

    这篇文章主要介绍了Python with语句和过程抽取思想,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-12-12
  • Python中正则表达式妙用之以搜索电子邮件地址为例

    Python中正则表达式妙用之以搜索电子邮件地址为例

    这篇文章主要给大家介绍了关于Python中正则表达式妙用之以搜索电子邮件地址为例的相关资料,正则表达式经常被用到,而自己总是记不全,汇总一份完整的以备不时之需,需要的朋友可以参考下
    2024-05-05
  • Python爬取奶茶店数据分析哪家最好喝以及性价比

    Python爬取奶茶店数据分析哪家最好喝以及性价比

    这篇文章主要介绍了用Python告诉你奶茶哪家最好喝性价比最高,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2022-09-09
  • 跟老齐学Python之大话题小函数(1)

    跟老齐学Python之大话题小函数(1)

    今天本讲要讲什么呢?今天要介绍几个python中的小函数,这几个函数都是从函数式编程借鉴过来的,它们就是:filter、map、reduce、lambda、yield 有了它们,最大的好处是程序更简洁
    2014-10-10
  • python日志通过不同的等级打印不同的颜色(示例代码)

    python日志通过不同的等级打印不同的颜色(示例代码)

    这篇文章主要介绍了python日志通过不同的等级打印不同的颜色,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • 20个Python random模块常用函数的应用与代码示例

    20个Python random模块常用函数的应用与代码示例

    随机数在计算机科学和数据科学领域中扮演着重要角色,Python的标准库中提供了random模块,用于生成各种随机数,本文将深入探讨random模块的各种函数,以及它们的应用场景和代码示例,需要的可以参考下
    2024-03-03

最新评论