Python读大数据txt
更新时间：2016年03月28日 13:55:09 投稿：hebedich
本文通过2个例子给大家介绍了如何使用python实现读取大文件txt的方法，有需要的小伙伴可以参考下
如果直接对大文件对象调用 read() 方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。即通过yield。
在用Python读一个两个多G的txt文本时，天真的直接用readlines方法，结果一运行内存就崩了。
还好同事点拨了下，用yield方法，测试了下果然毫无压力。咎其原因，原来是readlines是把文本内容全部放于内存中，而yield则是类似于生成器。
代码如下：
def open_txt(file_name):
with open(file_name,'r+') as f:
while True:
line = f.readline()
if not line:
return
yield line.strip()
调用实例：
for text in open_txt('aa.txt'):
print text
例二：
目标 txt 文件大概有6G，想取出前面1000条数据保存于一个新的 txt 文件中做余下的操作，虽然不知道这样做有没有必要但还是先小数据量测试一下吧。参考这个帖子：我想把一个list列表保存到一个Txt文档，该怎么保存 ，自己写了一个简单的小程序。
====================================================
import datetime
import pickle
start = datetime.datetime.now()
print "start--%s" % (start)
fileHandle = open ( 'train.txt' )
file2 = open('s_train.txt','w')
i = 1
while ( i < 10000 ):
a = fileHandle.readline()
file2.write(''.join(a))
i = i + 1
fileHandle.close()
file2.close()
print "done--%s" % ( datetime.datetime.now() - start)
if __name__ == '__main__':
pass
====================================================
pickle 这个库大家说的很多，官网看看，后面可以好好学习一下。
相关文章
这篇文章主要介绍了Python无损压缩图片的方法，简单的代码即可实现压缩图片，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了Python网络编程之TCP与UDP协议套接字用法,结合实例形式较为详细的分析了Python网络编程中TCP与UDP协议客户端、服务器端相关实现及使用技巧,需要的朋友可以参考下2018-02-02
在大数据分析的领域中,Google BigQuery 是一个被广泛使用的云端数据仓库解决方案,它由 Google Cloud 提供,并且专为处理大规模数据集、进行快速的数据分析和复杂的查询而设计,本文给大家讲解了如何使用Python与BigQuery进行交互,需要的朋友可以参考下2025-04-04
在本篇内容里小编给大家整理的是一篇关于Python程序慢的重要原因分析内容，有兴趣的朋友们可以参考下。2020-09-09
PyMySQL 是一个纯 Python 的库,用于连接 MySQL 数据库,并执行 SQL 语句,该库的主要用途是通过 Python 代码与 MySQL 数据库进行交互,比如执行查询、插入数据、更新数据、删除数据等操作,本文介绍了python操作MySQL的详细教程,需要的朋友可以参考下2024-10-10
这篇文章主要介绍了python selenium爬取网易云音乐歌单名，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
今天小编就为大家分享一篇在django中,关于session的通用设置方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了解决TensorFlow程序无限制占用GPU的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
这篇文章主要介绍了python调用webservice接口的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
下面小编就为大家带来一篇python获取外网IP并发邮件的实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-10-10
最新评论