python分块读取大数据,避免内存不足的方法
更新时间：2018年12月10日 10:59:44 作者：水木小僧
今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
def read_data(file_name):
'''
file_name:文件地址
'''
inputfile = open(file_name, 'rb') #可打开含有中文的地址
data = pd.read_csv(inputfile, iterator=True)
loop = True
chunkSize = 1000 #一千行一块
chunks = []
while loop:
try:
chunk = dcs.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
data = pd.concat(chunks, ignore_index=True)
#print(train.head())
return data
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了pytorch神经网络从零开始实现多层感知机的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
python安装mysql-python简明笔记(ubuntu环境)
这篇文章主要介绍了python安装mysql-python的方法,测试环境为ubuntu,较为详细的记录了安装mysql-python过程中遇到的问题与解决方法,具有一定参考借鉴价值,需要的朋友可以参考下2016-06-06
解读pandas交叉表与透视表pd.crosstab()和pd.pivot_table()函数
这篇文章主要介绍了pandas交叉表与透视表pd.crosstab()和pd.pivot_table()函数的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要介绍了Python中schedule模块关于定时任务使用方法，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-05-05
Matplotlib是一个基于Python的绘图库,它提供了一整套与Matlab相似的命令API,非常适合交互式绘图,这篇文章主要给大家介绍了关于Matplotlib图形绘制的相关资料,需要的朋友可以参考下2023-09-09
大家好，本篇文章主要讲的是python如何去除异常值和缺失值的插值，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
下面小编就为大家分享一篇python生成不重复随机数和对list乱序的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
浅谈matplotlib中FigureCanvasXAgg的用法
这篇文章主要介绍了浅谈matplotlib中FigureCanvasXAgg的用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了Python3爬虫学习之应对网站反爬虫机制的方法,结合实例形式分析了Python3模拟浏览器运行来应对反爬虫机制的相关操作技巧,需要的朋友可以参考下2018-12-12
网络爬虫成为了自动化数据抓取的核心工具,Python 拥有强大的第三方库支持,在网络爬虫领域的应用尤为广泛,本文将深入探讨 Python 网络爬虫的高阶用法,包括处理反爬虫机制、动态网页抓取、分布式爬虫以及并发和异步爬虫等技术,帮助读者掌握高级Python爬虫技术2024-12-12
最新评论