Python基于read(size)方法读取超大文件

 更新时间:2020年03月12日 11:44:11   作者:我太难了008  
这篇文章主要介绍了Python基于read(size)方法读取超大文件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了. 不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中

下面来个示例

def readlines(f, separator):
  '''
  读取大文件方法
  :param f:  文件句柄
  :param separator:  每一行的分隔符
  :return:
  '''
  buf = ''
  while True:
    while separator in buf:
      position = buf.index(separator) # 分隔符的位置
      yield buf[:position] # 切片, 从开始位置到分隔符位置
      buf = buf[position + len(separator):] # 再切片,将yield的数据切掉,保留剩下的数据

    chunk = f.read(4096) # 一次读取4096的数据到buf中
    if not chunk: # 如果没有读到数据
      yield buf # 返回buf中的数据
      break # 结束
    buf += chunk # 如果read有数据 ,将read到的数据加入到buf中


with open('text.txt',encoding='utf-8') as f:
  for line in readlines(f,'|||'):
    # 为什么readlines函数能够使用for循环遍历呢, 因为这个函数里面有yield关键字呀, 有它就是一个生成器函数 ......
    print(line)

测试文件text.txt

fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb钦铁杆jdlfdl|||tedsthfdskfdk

打印结果

fgshfsljflsjfls
fyhdiyfdfhn
fudofdb钦铁杆jdlfdl
tedsthfdskfdk

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • pandas如何灵活增加新的空字段

    pandas如何灵活增加新的空字段

    这篇文章主要介绍了pandas如何灵活增加新的空字段问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • python用模块zlib压缩与解压字符串和文件的方法

    python用模块zlib压缩与解压字符串和文件的方法

    Python标准模块中,有多个模块用于数据的压缩与解压缩,如zipfile,gzip, bz2等等。这篇文章主要给大家介绍了python如何利用模块zlib压缩与解压字符串和文件的方法,有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2016-12-12
  • Python使用到第三方库PyMuPDF图片与pdf相互转换

    Python使用到第三方库PyMuPDF图片与pdf相互转换

    今天为大家介绍个比较简单的Python第三方库PyMuPDF进行图片和pdf之间的相互转换,以下就是利用PyMuPDF进行pdf与图片之间的互转
    2019-05-05
  • python子线程如何有序执行

    python子线程如何有序执行

    最近在写一个项目,需要用到子线程,那么python子线程如何有序执行,需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • centos6.5安装python3.7.1之后无法使用pip的解决方案

    centos6.5安装python3.7.1之后无法使用pip的解决方案

    今天小编就为大家分享一篇关于centos6.5安装python3.7.1之后无法使用pip的解决方案,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • Random 在 Python 中的使用方法

    Random 在 Python 中的使用方法

    random() 方法返回随机生成的一个实数,它在[0,1)范围内。这篇文章主要介绍了Random 在 Python 中的使用方法,需要的朋友可以参考下
    2018-08-08
  • 用python对excel进行操作(读,写,修改)

    用python对excel进行操作(读,写,修改)

    这篇文章主要介绍了用python对excel进行操作(读,写,修改),帮助大家更好的利用python处理表格,感兴趣的朋友可以了解下
    2020-12-12
  • Pandas的数据过滤实现

    Pandas的数据过滤实现

    这篇文章主要介绍了Pandas的数据过滤实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • python 爬取哔哩哔哩up主信息和投稿视频

    python 爬取哔哩哔哩up主信息和投稿视频

    本项目主要功能是爬取部分哔哩哔哩up主信息和up主投稿视频信息,用作数据处理与分析学习(不得用于商业和其他侵犯他人权益的用途)。有此需求的朋友可以了解下本项目
    2021-06-06
  • python实现随机加减法生成器

    python实现随机加减法生成器

    这篇文章主要为大家详细介绍了python实现随机加减法生成器,练手小项目,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02

最新评论