python分块读取大数据,避免内存不足的方法
更新时间：2018年12月10日 10:59:44 作者：水木小僧
今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
def read_data(file_name):
'''
file_name:文件地址
'''
inputfile = open(file_name, 'rb') #可打开含有中文的地址
data = pd.read_csv(inputfile, iterator=True)
loop = True
chunkSize = 1000 #一千行一块
chunks = []
while loop:
try:
chunk = dcs.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
data = pd.concat(chunks, ignore_index=True)
#print(train.head())
return data
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
asyncio中函数可以分为高阶函数和低阶函数,通常开发中使用更多的是高阶函数,本文主要为大家介绍了asyncio中常用的高阶函数,需要的可以参考下2024-01-01
Python+Selenium随机生成手机验证码并检查页面上是否弹出重复手机号码提示框
这篇文章主要介绍了Python+Selenium随机生成手机验证码并检查页面上是否弹出重复手机号码提示框,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-09-09
ConvNeXts由标准ConvNet模块构建，在准确性和可扩展性方面与 Transformer竞争，实现87.8% ImageNet top-1 准确率，在 COCO 检测和 ADE20K 分割方面优于 Swin Transformers。本文将利用ConvNeXt实现植物幼苗分类，需要的可以参考一下2022-01-01
这篇文章主要为大家详细介绍了PyQt实现界面翻转切换效果，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
这篇文章主要介绍了Python3.5基础之NumPy模块的使用,结合图文与实例形式详细分析了Python3.5中Numpy模块的原理、功能、使用方法及操作注意事项,需要的朋友可以参考下2019-04-04
最近在学习Django配置静态文件，下面这篇文章主要给大家介绍了关于Django压缩静态文件的实现方法，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧2018-08-08
jupyter notebook 参数传递给shell命令行实例
这篇文章主要介绍了jupyter notebook 参数传递给shell命令行实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
今天小编就为大家分享一篇基于tensorflow指定GPU运行及GPU资源分配的几种方式小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
Python使用Matplotlib绘制散点趋势线的代码详解
Matplotlib是一个用于数据可视化的强大Python库,其基本功能之一是创建带有趋势线的散点图,散点图对于可视化变量之间的关系非常有用,本文将指导您使用Matplotlib绘制散点趋势线的过程,涵盖线性和多项式趋势线,需要的朋友可以参考下2025-01-01
这篇文章主要介绍了利用Python中的输入和输出功能进行读取和写入的教程,本文来自于IBM官方网站技术文档,需要的朋友可以参考下2015-04-04
最新评论