python 快速把超大txt文件转存为csv的实例
更新时间：2018年10月26日 15:11:45 作者：nudt_qxx
今天小编就为大家分享一篇python 快速把超大txt文件转存为csv的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天项目有个需求，就是把txt文件转为csv，txt之间是空格隔开，转为csv时需要把空格转换为逗号，网上找的一个版本，只需要三行代码，特别犀利：
import numpy as np
import pandas as pd
data_txt = np.loadtxt('datas_train.txt')
data_txtDF = pd.DataFrame(data_txt)
data_txtDF.to_csv('datas_train.csv',index=False)
上述的datas_train.txt只有不到100MB，560W行数据，三分钟之内转换完毕。
然后我换了一个5600W行共1.2G的txt文本，用上述代码转换，电脑直接卡死了。
原因在于上述代码会把全部的txt加载进内存，然后再转换，这就会造成电脑内存耗尽。
然后就想到了切割数据的办法，具体实现如下：
import numpy as np
import pandas as pd
train_data = pd.read_table('big_data.txt',iterator=True,header=None)
while True:
try:
chunk = train_data.get_chunk(5600000)
chunk.columns = ['user_id','spu_id','buy_or_not','date']
chunk.to_csv('big_data111.csv', mode='a',header=False,index = None)
except Exception as e:
break
这里我把数据分成了小块，每块数据有560W行，分11次加载就能全部加载完了，速度也很快，总共花了5分钟左右。
注意，get_chunk()里面的参数表示文件的行数，而非字节数。
以上这篇python 快速把超大txt文件转存为csv的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python基础之条件控制操作,结合实例形式分析了Python使用if语句进行条件控制的相关操作技巧与相关注意事项,需要的朋友可以参考下2019-03-03
今天小编就为大家分享一篇pandas中去除指定字符的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
很多人不理解“元编程”是个什么东西,关于它也没有一个十分准确的定义.这篇文章要说的是Python里的元编程,实际上也不一定就真的符合“元编程”的定义.只不过我无法找到一个更准确的名字来代表这篇文章的主题,所以就借了这么一个名号,需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Python同时迭代多个序列的方法，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
这篇文章主要介绍了tkinter模块和ttk模块的区别,以及如何在tkinter窗口中设计组件和进行布局管理的相关资料,文中通过代码及图文介绍的非常详细,需要的朋友可以参考下2024-11-11
今天小编就为大家分享一篇python实现信号时域统计特征提取代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
在本篇文章里小编给大家整理了一篇关于celery在python爬虫中定时操作实例讲解内容，需要的朋友们可以参考下。2020-11-11
这篇文章主要介绍了Python selenium爬虫实现定时任务过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
python Autopep8实现按PEP8风格自动排版Python代码
这篇文章主要介绍了python Autopep8实现按PEP8风格自动排版Python代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
Python 是一种多用途、功能强大的编程语言,具有广泛的特性和能力,在本文中,我们将探讨 15 个高级 Python 技巧,它们有助于改善您的开发工作流程,并使您的代码更加高效,更加 Pythonic2023-12-12
最新评论