使用python读取csv文件快速插入数据库的实例
更新时间：2018年06月21日 16:32:24 作者：chenKFKevin
今天小编就为大家分享一篇使用python读取csv文件快速插入数据库的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys
reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')
engine = create_engine(
'postgresql+psycopg2://'数据库连接)
filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='
print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'
print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)
connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'
这个脚本可以直接运行，将csv文件放在同级目录即可。
csv第一列需要有列名，如果csv里没有列名，需要在代码中添加列名。
代码运行示例：python insert.py csvname tablename
以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python Polars库的使用简介，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-04-04
Python中的Slice函数是一种强大且灵活的序列切片技术,用于从字符串、列表、元组等序列类型中提取子集,本文将深入研究Slice函数的功能和用法,提供详细的示例代码和解释,帮助读者更全面地了解和应用这一功能2024-01-01
春联是中国传统文化中最具内涵的元素之一，它以对仗工整、简洁精巧的文字描绘美好形象，抒发美好愿望，是中国特有的文学形式，是华人们过年的重要习俗。本文将通过Python制作春联，需要的可以参考一下2022-01-01
Python调用SQLPlus来操作和解析Oracle数据库的方法
这篇文章主要介绍了Python调用SQLPlus来操作和解析Oracle数据库的方法,这样用SQL*Plus方式来分析Oracle中的数据就变得十分方便,需要的朋友可以参考下2016-04-04
这篇文章主要介绍了Python编程中在mac下使用pycharm的一些小技巧，建议正在使用Pycharm的同学们可以收藏阅读，可以节省你的编程时间2021-09-09
有时在数据处理时,需要对数据进行拼接处理,比如字符串的拼接、列表的拼接等,本文主要是介绍了字符串、列表、字典常用的拼接方法,希望对大家有所帮助2024-02-02
pandas默认整合XlsxWriter驱动，可以自动化处理excel操作，并提供公式、设置单元格格式、可视化分析图片等操作，本文就来和大家详细聊聊2023-05-05
今天小编就为大家分享一篇python将.ppm格式图片转换成.jpg格式文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
今天小编就为大家分享一篇opencv-python 提取sift特征并匹配的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
Python中使用线程有两种方式：函数或者用类来包装线程对象2012-12-12
最新评论