用Python读取几十万行文本数据

 更新时间:2018年12月24日 11:21:15   转载 作者:accumulate_zhang  
今天小编就为大家分享一篇关于用Python读取几十万行文本数据,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

做此记录只为了学习

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • Python3.5基础之函数的定义与使用实例详解【参数、作用域、递归、重载等】

    Python3.5基础之函数的定义与使用实例详解【参数、作用域、递归、

    这篇文章主要介绍了Python3.5基础之函数的定义与使用,结合实例形式详细分析了Python3.5函数的定义、参数、作用域、递归、重载、内置函数等基本概念与相关使用技巧,需要的朋友可以参考下
    2019-04-04
  • python构建基础的爬虫教学

    python构建基础的爬虫教学

    在本篇内容里小编给大家分享的是关于python构建基础的爬虫教学内容,需要的朋友们学习下。
    2018-12-12
  • 浅谈python jieba分词模块的基本用法

    浅谈python jieba分词模块的基本用法

    本篇文章主要介绍了浅谈python jieba分词模块的基本用法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-11-11
  • python中实现数组和列表读取一列的方法

    python中实现数组和列表读取一列的方法

    下面小编就为大家分享一篇python中实现数组和列表读取一列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • 5行Python代码实现图像分割的步骤详解

    5行Python代码实现图像分割的步骤详解

    这篇文章主要介绍了5行Python代码实现图像分割的步骤详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-05-05
  • 浅谈Python单向链表的实现

    浅谈Python单向链表的实现

    本文给大家简单介绍了下链表的知识,然后用Python模拟一下单链表,比较简单,初学者可以参考参考,大神可以给我点改进意见
    2015-12-12
  • python计数排序和基数排序算法实例

    python计数排序和基数排序算法实例

    这篇文章主要介绍了python计数排序和基数排序算法实例,需要的朋友可以参考下
    2014-04-04
  • python+opencv实现高斯平滑滤波

    python+opencv实现高斯平滑滤波

    这篇文章主要为大家详细介绍了python+opencv实现高斯平滑滤波,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-12-12
  • 浅谈PYTHON 关于文件的操作

    浅谈PYTHON 关于文件的操作

    这篇文章主要介绍了PYTHON 关于文件的操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • Python 改变数组类型为uint8的实现

    Python 改变数组类型为uint8的实现

    这篇文章主要介绍了Python 改变数组类型为uint8的实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04

最新评论