简单了解Python读取大文件代码实例
更新时间：2019年12月18日 11:24:27 作者：沉默的赌徒
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
通常对于大文件读取及处理，不可能直接加载到内存中，因此进行分批次小量读取及处理
I、第一种读取方式
一行一行的读取，速度较慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二种读取方式
设置每次读取大小，从而完成多行快速读取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三种读取方式
使用itertools模块,islice返回的是一个生成器，可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
for line in list_gen:
print(line)
完成
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python3使用smtplib实现发送邮件功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
在工作中，我们经常需要从命令行当中解析出指定的参数，而 Python 也提供了相应的标准库来做这件事情，比如 sys, optparse, getopt, argparse，这里面功能最强大的莫过于 argparse，下面就来看看它用法,需要的朋友可以参考下2022-12-12
IMAP是另一种读取电子邮件的协议,IMAP是读取邮件服务器的电子邮件与公布栏信息的方法,也就是说IMAP 允许客户端的邮件程序存取远程的信息,这篇文章主要给大家介绍了关于Python如何利用IMAP实现邮箱客户端功能的相关资料,需要的朋友可以参考下2021-09-09
Python matplotlib 画图窗口显示到gui或者控制台的实例
今天小编就为大家分享一篇Python matplotlib 画图窗口显示到gui或者控制台的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了python黑魔法之编码转换，分析了python编码转换的方法，感兴趣的小伙伴们可以参考一下2016-01-01
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
这篇文章主要介绍了No module named ‘win32gui‘ 的解决方法(踩坑之旅),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了python实现机械分词之逆向最大匹配算法代码示例，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
这篇文章主要给大家介绍了关于python实现图片转字符画的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
精灵其实在一个游戏程序中,精灵本质指的是一张张小尺寸的图片,比如游戏中的各种道具、人物、场景装饰等,它们都可以看做成一张张小的“精灵”图,下面这篇文章主要给大家介绍了关于pygame.sprite精灵碰撞的相关资料,需要的朋友可以参考下2023-01-01
这篇文章主要介绍了Python中的字典与成员运算符初步探究,是Python入门学习中的基础知识,需要的朋友可以参考下2015-10-10
最新评论