Python3实现将本地JSON大数据文件写入MySQL数据库的方法

 更新时间:2018年06月13日 09:40:19   作者:layman2016  
这篇文章主要介绍了Python3实现将本地JSON大数据文件写入MySQL数据库的方法,涉及Python针对json大数据文件的逐行读取、mysql数据库写入等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法。分享给大家供大家参考,具体如下:

最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使用本地文件,选择python来分析,那么效率是非常低的;另一方面使用SQL来储存文本文件最为安全,之前使用CSV,txt存储的文本文件最后莫名其妙地出现一些奇怪字符,导致读取数据分割时出现错乱。下面给出一个简单的代码,将本地JSON文件内容存入数据库。

说明:python版本为3.5,使用第三方库为pymysql。因为数据量比较大,不能一次性读取到内存(否则内存报错),这里使用逐行读取的方式。数据库先创建后再使用以下代码;

import json
import pymysql
# 读取review数据,并写入数据库
# 导入数据库成功,总共4736897条记录
def prem(db):
  cursor = db.cursor()
  cursor.execute("SELECT VERSION()")
  data = cursor.fetchone()
  print("Database version : %s " % data) # 结果表明已经连接成功
  cursor.execute("DROP TABLE IF EXISTS review") # 习惯性
  sql = """CREATE TABLE review (
       review_id VARCHAR(100),
       user_id VARCHAR(100),
       business_id VARCHAR(200),
       stars INT,
       text VARCHAR(10000) NOT NULL,
       useful INT,
       funny INT,
       cool INT)"""
  cursor.execute(sql) # 根据需要创建一个表格
def reviewdata_insert(db):
  with open('E:/data/yelp_data/dataset/review.json', encoding='utf-8') as f:
    i = 0
    while True:
      i += 1
      print(u'正在载入第%s行......' % i)
      try:
        lines = f.readline() # 使用逐行读取的方法
        review_text = json.loads(lines) # 解析每一行数据
        result = []
        result.append((review_text['review_id'], review_text['user_id'],      review_text['business_id'],review_text['stars'], review_text['text'], review_text['useful'],
              review_text['funny'], review_text['cool']))
        print(result)
        inesrt_re = "insert into review(review_id, user_id, business_id, stars, text, useful,      funny, cool) values (%s, %s, %s, %s,%s, %s,%s, %s)"
        cursor = db.cursor()
        cursor.executemany(inesrt_re, result)
        db.commit()
      except Exception as e:
        db.rollback()
        print(str(e))
        break
if __name__ == "__main__": # 起到一个初始化或者调用函数的作用
  db = pymysql.connect("localhost", "root", "password(你的密码)", "数据库名称", charset='utf8')
  cursor = db.cursor()
  prem(db)
  reviewdata_insert(db)
  cursor.close()

PS:这里再为大家推荐几款比较实用的json在线工具供大家参考使用:

在线JSON代码检验、检验、美化、格式化工具:
http://tools.jb51.net/code/json

JSON在线格式化工具:
http://tools.jb51.net/code/jsonformat

在线XML/JSON互相转换工具:
http://tools.jb51.net/code/xmljson

json代码在线格式化/美化/压缩/编辑/转换工具:
http://tools.jb51.net/code/jsoncodeformat

在线json压缩/转义工具:
http://tools.jb51.net/code/json_yasuo_trans

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python操作json技巧总结》、《Python+MySQL数据库程序设计入门教程》、《Python常见数据库操作技巧汇总》、《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • pytorch中的上采样以及各种反操作,求逆操作详解

    pytorch中的上采样以及各种反操作,求逆操作详解

    今天小编就为大家分享一篇pytorch中的上采样以及各种反操作,求逆操作详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Python使用内置函数setattr设置对象的属性值

    Python使用内置函数setattr设置对象的属性值

    这篇文章主要介绍了Python使用内置函数setattr设置对象的属性值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10
  • Python中用PIL库批量给图片加上序号的教程

    Python中用PIL库批量给图片加上序号的教程

    这篇文章主要介绍了Python中用PIL库批量给图片加上序号的教程,PIL库是Python中一个非常强大的处理图片的库,需要的朋友可以参考下
    2015-05-05
  • wxPython之wx.DC绘制形状

    wxPython之wx.DC绘制形状

    这篇文章主要为大家详细介绍了wxPython之wx.DC绘制形状,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • Python实现字符串匹配算法代码示例

    Python实现字符串匹配算法代码示例

    这篇文章主要介绍了Python实现字符串匹配算法代码示例,涉及字符串匹配存在的问题,蛮力法字符串匹配,Horspool算法,具有一定参考价值,需要的朋友可以了解下。
    2017-12-12
  • Python实现图片查找轮廓、多边形拟合、最小外接矩形代码

    Python实现图片查找轮廓、多边形拟合、最小外接矩形代码

    这篇文章主要介绍了Python实现图片查找轮廓、多边形拟合、最小外接矩形代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • Python2.7简单连接与操作MySQL的方法

    Python2.7简单连接与操作MySQL的方法

    这篇文章主要介绍了Python2.7简单连接与操作MySQL的方法,涉及Python使用MySQLdb模块操作MySQL连接及命令运行的相关技巧,需要的朋友可以参考下
    2016-04-04
  • Python实现PIL图像处理库绘制国际象棋棋盘

    Python实现PIL图像处理库绘制国际象棋棋盘

    本文主要介绍了Python实现PIL图像处理库绘制国际象棋棋盘,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧
    2021-07-07
  • Python subprocess库的使用详解

    Python subprocess库的使用详解

    这篇文章主要介绍了Python subprocess库的使用详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-10-10
  • 利用nohup来开启python文件的方法

    利用nohup来开启python文件的方法

    今天小编就为大家分享一篇利用nohup来开启python文件的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01

最新评论