解决python读取几千万行的大表内存问题
更新时间：2018年06月26日 08:54:49 作者：Lucky-zhou
今天小编就为大家分享一篇解决python读取几千万行的大表内存问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python导数据的时候，需要在一个大表上读取很大的结果集。
如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出
解决的方法：
1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)
2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。
import MySQLdb.cursors
conn = MySQLdb.connect(host='ip地址', user='用户名', passwd='密码', db='数据库名', port=3306,
charset='utf8', cursorclass = MySQLdb.cursors.SSCursor)
cur = conn.cursor()
cur.execute("SELECT * FROM bigtable");
row = cur.fetchone()
while row is not None:
do something
row = cur.fetchone()
cur.close()
conn.close()
需要注意的是，
1、因为SSCursor是没有缓存的游标,结果集只要没取完，这个conn是不能再处理别的sql，包括另外生成一个cursor也不行的。
如果需要干别的，请另外再生成一个连接对象。
2、 每次读取后处理数据要快，不能超过60s，否则mysql将会断开这次连接，也可以修改 SET NET_WRITE_TIMEOUT = xx 来增加超时间隔。
以上这篇解决python读取几千万行的大表内存问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python 中enum的使用方法总结，枚举在许多编程语言中常被表示为一种基础的数据结构使用，下文更多详细内容需要的小伙伴可以参考一下2022-03-03
学习pandas的过程中，为了尝试pandas提供的各类功能强大的函数，常常需要花费很多时间去创造测试数据，本篇介绍了一些快速创建测试数据的方法，需要的可以参考一下2023-07-07
在Python的编程世界中,数据处理和搜索操作是非常常见的任务,bisect_left函数是Python标准库bisect模块中的一个强大工具,接下来,我们将详细探讨bisect_left函数的使用场景,需要的朋友可以参考下2024-11-11
这篇文章主要介绍了flask框架渲染Jinja模板与传入模板变量操作,结合实例形式详细分析了flask框架模板相关原理、模板渲染、传入参数等相关操作技巧与注意事项,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了Python字典fromkeys()方法使用代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
今天带大家学习的是Python的相关知识,文章围绕着Python的安装及使用展开,文中有非常详细的图文示例及介绍,需要的朋友可以参考下2021-06-06
在本篇文章里小编给大家整理的是一篇关于Python自动化测试笔试面试时常见的编程题，需要的朋友们可以学习参考下。2020-03-03
今天小编就为大家分享一篇Django 拆分model和view的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了Python数据挖掘Pandas,pandas是基于numpy模块构建的，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-07-07
在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容，对此有兴趣的朋友们可以学习下。2021-02-02
最新评论