python把数据框写入MySQL的方法
背景：
下文利用上海市2016年9月1日公共交通卡刷卡数据
如图：
想做一下上海市通勤数据挖掘，由于源文件有800多兆，用python读取起来很慢很卡，于是想导入数据库MySQL里面处理，以前一般是打开workbench可视化操作导入数据库，这次想换成代码实现，于是琢磨着如何把这个csv文件用python导进去。
一般的，python把数据框写入数据库有两种方法
利用insert into 命令一条一条插入：
采用这种方法，可以爬一条立马向数据库里面插入一条数据，整体衔接好，不怕大量数据一次性塞进数据库导致拥堵；
pd.io.sql.to_sql( )整个数据框以追加的方式整体复制进去
今天主要研究第二种方法
实现代码：
import pandas as pd #导入数据分析模块
import pymysql #导入数据库接口模块
from sqlalchemy import create_engine
data=pd.read_csv(r"D:\数据\yikatongchengkeshuakashuju\201608\SPTCC20160901.csv",engine='python',header=None) #读取数据encoding='mbcs',
data.columns=["卡号","日期","时间","站点","交通方式","费用","是否有优惠"] #由于原csv文件没有表头，这里添加表头
#print(data.head()) #测试
db=pymysql.connect("localhost","root","123456","metro_sh",charset="utf8") #链接数据库metro_sh
cursor=db.cursor() #获取游标
cursor.execute("drop table if exists metro_sh_20160901") #以重新写入的方式导入数据表
connect=create_engine("mysql+pymysql://root:123456@localhost:3306/metro_sh?charset=utf8")
pd.io.sql.to_sql(data,"metro_sh_20160901",connect,schema="metro_sh",index=False,if_exists="append")结果截图：
代码解读：
create_engine( )参数说明：
create_engine(mysql+mysqldb://用户名:密码@localhost:端口/数据库名?编码)
设置数据库的编码方式的时候最好与之前pd.read_csv()中的encoding参数一致
pd.io.sql.to_sql( )参数说明：
(数据框, ‘表名’, con=连接键, schema=‘数据库名’, if_exists=‘操作方式’)
操作方式有append、fail、replace
append：如果表存在，则将数据添加到这个表的后面fail：如果表存在就不写入replace：如果存在表，删了，覆盖
该方法有一个缺点：
该方法整体性好，内存消耗大，如果内存大可以一试
到此这篇关于如何让python把数据框写入MySQL的文章就介绍到这了,更多相关python把数据框写入MySQL内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇树莓派3 搭建 django 服务器的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
在本篇内容中小编给大家总结了关于Python3解释器的用法以及相关知识点，需要的朋友们学习下。2021-06-06
这篇文章主要介绍了教你用Python快速为iOS10生成图标和截屏的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下2016-09-09
这篇文章主要介绍了Python将字典转换为XML的方法，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-08-08
这篇文章主要为大家详细介绍了python查看微信好友是否删除自己，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-12-12
在日常编程和应用开发中,展示进度条是一种常见的技巧,不仅能够提供用户友好的体验,还可以显示任务执行的进度,Python作为一种多才多艺的编程语言,提供了多种方法来创建进度条,本篇文章将深入探讨这些方法,为您呈现各种实现进度条的技术和技巧2024-01-01
pytorch更新tensor中指定index位置的值scatter_add_问题
这篇文章主要介绍了pytorch更新tensor中指定index位置的值scatter_add_问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
关于Django使用 django-celery-beat动态添加定时任务的方法
本文给大家介绍Django使用 django-celery-beat动态添加定时任务的方法，安装对应的是celery版本，文中给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧2021-10-10
这篇文章主要介绍了python中getopt()函数用法,通过getopt模块中的getopt( )方法，我们可以获取和解析命令行传入的参数，需要的朋友可以参考下2022-12-12
在本篇文章里小编给大家分享的是一篇关于python模块导入方法知识点总结，需要的朋友们可以学习下。2019-10-10
最新评论