简单了解Python读取大文件代码实例
更新时间：2019年12月18日 11:24:27 作者：沉默的赌徒
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
通常对于大文件读取及处理，不可能直接加载到内存中，因此进行分批次小量读取及处理
I、第一种读取方式
一行一行的读取，速度较慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二种读取方式
设置每次读取大小，从而完成多行快速读取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三种读取方式
使用itertools模块,islice返回的是一个生成器，可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
for line in list_gen:
print(line)
完成
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇python多任务及返回值的处理方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
Python的产生似乎就是专门用来处理数据的，顺理成章的成为大数据的主流语言，本文介绍十二个函数辅助你更容易更便捷的用Python进行数据处理2021-11-11
Python中多进程处理的Process和Pool的用法详解
在Python编程中,多进程是一种强大的并行处理技术,Python提供了两种主要的多进程处理方式：Process和Pool,本文将详细介绍这两种方式的使用,希望对大家有所帮助2024-02-02
本文主要介绍了Python中可以用三种方法判断文件是否存在，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
这篇文章主要介绍了anaconda升级sklearn版本的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了PyCharm 2020 激活到 2100 年,本文图文并茂给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-03-03
这篇文章主要介绍了django创建超级用户过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
pytest有丰富的命令行选项,以满足不同的需要,下面这篇文章主要给大家介绍了关于Python教程之pytest命令行方式运行的相关资料,需要的朋友可以参考下2021-12-12
这篇文章主要介绍了Python组合数据类型详解，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的朋友可以参考一下2022-08-08
python爬虫入门教程--优雅的HTTP库requests（二）
requests 实现了 HTTP 协议中绝大部分功能，它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证等很多特性，下面这篇文章主要给大家介绍了python爬虫入门中关于优雅的HTTP库requests的相关资料，需要的朋友可以参考下。2017-05-05
最新评论