用Python读取几十万行文本数据
更新时间：2018年12月24日 11:21:15 作者：accumulate_zhang
今天小编就为大家分享一篇关于用Python读取几十万行文本数据，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
我在使用python读取几十万行的文件中的数据，并构造字典，列表等数据结构时，再访问字典，列表时，一般都会出现内存不够的问题，然后只能循环读取几百行或者一定数量的行数来循环操作。
keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
for line in content[300*i:300*(i+1)]:
line=line.strip().split(' ')
if line[0] in keyword_list:
wordvec=' '.join(line)
print wordvec
f2.write(wordvec)
#print line
i+=1
我是这样读取的
应该还有很多好的方法，比如多线程等等。
做此记录只为了学习
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接
相关文章
这篇文章主要介绍了Python多进程机制,以实例形式详细分析了Python多进程机制的原理与实现技巧,需要的朋友可以参考下2015-07-07
跳出单循环不管是什么编程语言,都有可能会有跳出循环的需求,本文主要介绍了Python中断多重循环的几种方法,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
今天我们来学习如何用Python实现自动刷抖音，并为颜值高的的小哥哥小姐姐点赞并评论。感兴趣的可以了解一下2021-06-06
Python实现Windows和Linux之间互相传输文件(文件夹)的方法
下面小编就为大家带来一篇Python实现Windows和Linux之间互相传输文件(文件夹)的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
这篇文章主要教大家用python画一个玫瑰和一个爱心，作为女生节礼物，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
这篇文章主要介绍了PyTorch笔记之scatter()函数的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了Django 项目如何通过加载不同env文件来区分不同环境,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了python清洗疫情历史数据,包括数据获取方法及使用python读取csv的详细代码，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-05-05
今天给大家带来的知识是关于Python的相关知识,文章围绕着super( )函数展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了python实现机械分词之逆向最大匹配算法代码示例，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
最新评论