python把数据框写入MySQL的方法
更新时间：2022年03月07日 09:29:59 作者：帅帅de三叔
这篇文章主要介绍了如何让python把数据框写入MySQL,下文利用上海市2016年9月1日公共交通卡刷卡数据的一份数据单展开其方法，需要的小伙伴可以参考一下
背景：
下文利用上海市2016年9月1日公共交通卡刷卡数据
如图：
想做一下上海市通勤数据挖掘，由于源文件有800多兆，用python读取起来很慢很卡，于是想导入数据库MySQL里面处理，以前一般是打开workbench可视化操作导入数据库，这次想换成代码实现，于是琢磨着如何把这个csv文件用python导进去。
一般的，python把数据框写入数据库有两种方法
利用insert into 命令一条一条插入：
采用这种方法，可以爬一条立马向数据库里面插入一条数据，整体衔接好，不怕大量数据一次性塞进数据库导致拥堵；
pd.io.sql.to_sql( )整个数据框以追加的方式整体复制进去
今天主要研究第二种方法
实现代码：
import pandas as pd #导入数据分析模块
import pymysql #导入数据库接口模块
from sqlalchemy import create_engine
data=pd.read_csv(r"D:\数据\yikatongchengkeshuakashuju\201608\SPTCC20160901.csv",engine='python',header=None) #读取数据encoding='mbcs',
data.columns=["卡号","日期","时间","站点","交通方式","费用","是否有优惠"] #由于原csv文件没有表头，这里添加表头
#print(data.head()) #测试
db=pymysql.connect("localhost","root","123456","metro_sh",charset="utf8") #链接数据库metro_sh
cursor=db.cursor() #获取游标
cursor.execute("drop table if exists metro_sh_20160901") #以重新写入的方式导入数据表
connect=create_engine("mysql+pymysql://root:123456@localhost:3306/metro_sh?charset=utf8")
pd.io.sql.to_sql(data,"metro_sh_20160901",connect,schema="metro_sh",index=False,if_exists="append")结果截图：
代码解读：
create_engine( )参数说明：
create_engine(mysql+mysqldb://用户名:密码@localhost:端口/数据库名?编码)
设置数据库的编码方式的时候最好与之前pd.read_csv()中的encoding参数一致
pd.io.sql.to_sql( )参数说明：
(数据框, ‘表名’, con=连接键, schema=‘数据库名’, if_exists=‘操作方式’)
操作方式有append、fail、replace
append：如果表存在，则将数据添加到这个表的后面fail：如果表存在就不写入replace：如果存在表，删了，覆盖
该方法有一个缺点：
该方法整体性好，内存消耗大，如果内存大可以一试
到此这篇关于如何让python把数据框写入MySQL的文章就介绍到这了,更多相关python把数据框写入MySQL内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
在理解matplotlib嵌入到tkinter中的原理之后，就已经具备了打造绘图系统的技术基础，所以本文来实现一个简单的绘图系统，感兴趣的小伙伴小伙伴可以了解一下2023-08-08
今天小编就为大家分享一篇pytorch 自定义数据集加载方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这里我们来看如何通过Python使用Srapy框架爬虫模拟登陆并抓取知乎内容的实例,要实现持续的爬取需要利用到cookie的保存,我们首先还是来回顾一下cookie的相关知识点:2016-07-07
解决安装python库时windows error5 报错的问题
今天小编就为大家分享一篇解决安装python库时windows error5 报错的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要介绍了python绘制铅球的运行轨迹代码分享，具有一定参考价值，需要的朋友可以了解下。2017-11-11
这篇文章主要介绍了基于Python下载网络图片方法汇总代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Python如何读取PDF文档(或TXT)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了Pygame 精准检测图像碰撞,在用Pygame写游戏的时候，有人可能会遇到两个Rect对象碰撞但是对象之间还有空间间隔的问题，这里，将教大家用一种方法精准地检测图像碰撞，需要的朋友可以参考下2022-06-06
这篇文章主要介绍了Python统计分析模块statistics用法,结合实例形式分析了Python统计分析模块statistics计算平均数、中位数、出现次数、标准差等相关操作技巧,需要的朋友可以参考下2019-09-09
这篇文章主要给大家介绍了关于Python学习笔记之视频人脸检测识别的相关资料，文中通过示例代码以及图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-03-03
最新评论