通过Pandas读取大文件的实例
更新时间：2018年06月07日 10:17:14 作者：痞靥
今天小编就为大家分享一篇通过Pandas读取大文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
当数据文件过大时，由于计算机内存有限，需要对大文件进行分块读取：
import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函数的iterator参数等于True时，表示返回一个TextParser以便逐块读取文件；
chunkSize表示文件块的大小，用于迭代；
TextParser类的get_chunk方法用于读取任意大小的文件块；
StopIteration的异常表示在循环对象穷尽所有元素时报错；
concat()函数用于将数据做轴向连接：
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用参数：
objs：Series,DataFrame或者是Panel构成的序列list;
axis：需要合并连接的轴，0是行，1是列；
join：连接的参数，inner或outer；
ignore=True表示重建索引。
以上这篇通过Pandas读取大文件的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python深度学习pyTorch权重衰减与L2范数正则化解析
这篇文章主要介绍了Python深度学习中的pyTorch权重衰减与L2范数正则化的详细解析，文中附含详细示例代码，有需要的朋友可以借鉴参考下2021-09-09
这篇文章主要介绍了python读取word文档的方法,实例分析了Python基于win32com操作word文档的相关技巧,需要的朋友可以参考下2015-05-05
今天小编就为大家分享一篇pandas 对每一列数据进行标准化的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
今天教大家如何你轻松的实现自然语言预处理,仅仅需要5个python库,文中介绍的非常详细,对正在学习python的小伙伴们有很好的帮助,需要的朋友可以参考下2021-05-05
今天小编就为大家分享一篇python抓取网页内容并进行语音播报的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
Python数据分析之 Pandas Dataframe合并和去重操作
这篇文章主要介绍了Python数据分析之 Pandas Dataframe合并和去重操作，文章基于python的相关资料展开详细的内容介绍，需要的小伙伴可以参考一下2022-05-05
这篇文章主要介绍了Python爬虫之Selenium多窗口切换的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
tensorflow 20:搭网络,导出模型,运行模型的实例
这篇文章主要介绍了tensorflow 20:搭网络,导出模型,运行模型的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
Python3中在Anaconda环境下安装basemap包
今天小编就为大家分享一篇关于Python3中在Anaconda环境下安装basemap包的文章，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-10-10
本文主要介绍了Pytorch框架构建ResNet模型的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-06-06
最新评论