利用python在大量数据文件下删除某一行的例子
更新时间：2019年08月21日 16:06:15 作者：cm940114
今天小编就为大家分享一篇利用python在大量数据文件下删除某一行的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python修改大数据文件时，如果全加载到内存中，可能会导致内存溢出。因此可借用如下方法，将分件分段读取修改。
with open('file.txt', 'r') as old_file:
with open('file.txt', 'r+') as new_file:
current_line = 0
# 定位到需要删除的行
while current_line < (3 - 1): #(del_line - 1)
old_file.readline()
current_line += 1
# 当前光标在被删除行的行首，记录该位置
seek_point = old_file.tell()
# 设置光标位置
new_file.seek(seek_point, 0)
# 读需要删除的行，光标移到下一行行首
old_file.readline()
# 被删除行的下一行读给 next_line
next_line = old_file.readline()
# 连续覆盖剩余行，后面所有行上移一行
while next_line:
new_file.write(next_line)
next_line = old_file.readline()
# 写完最后一行后截断文件，因为删除操作，文件整体少了一行，原文件最后一行需要去掉
new_file.truncate()
注：truncate（）函数括号可以加数字，表示删除数字之后的字符串，如果不加 就从当前光标处开始截断删除
以上这篇利用python在大量数据文件下删除某一行的例子就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python爬虫 urllib模块反爬虫机制UA详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了python实现矩阵乘法，矩阵相乘需要前面矩阵的行数与后面矩阵的列数相同方可相乘，下面来看看python代码的具体实现吧2022-01-01
本文主要介绍了python安装包site-packages的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2025-01-01
日报，是大部分打工人绕不过的难题。对于管理者来说，日报是事前管理的最好抓手，可以了解团队的氛围和状态。本文将利用Python实现自动生成数据日报，感兴趣的可以动手尝试一下2022-07-07
本篇文章给大家分享了用python脚本写出作为Windows服务启动功能，对此有需求的朋友跟着小编一起学习下。2018-02-02
在我们日常开发中经常需要对csv文件进行读写，下面这篇文章主要给大家介绍了关于Python 3.x读写csv文件中数字的相关资料，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。2017-08-08
这篇文章主要为大家详细介绍了如何在Python中实现读取文件中的特定行,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-03-03
nn.Flatten是一个类,而torch.flatten()则是一个函数,下面这篇文章主要给大家介绍了关于pytorch中nn.Flatten()函数详解及示例的相关资料,需要的朋友可以参考下2023-01-01
这篇文章主要介绍了Python如何使用argparse模块处理命令行参数,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要为大家介绍了Python全栈之MySQL，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
最新评论