浅谈python写入大量文件的问题
更新时间：2018年11月09日 09:01:37 作者：NesCafee
今天小编就为大家分享一篇浅谈python写入大量文件的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天准备把几个txt文件合并成一个文件时，用f.write方法写入时，发现程序执行完了，本应该十万行左右的txt记录，实际上只被写入了4k多行。
网上查了是因为程序执行速度太快，以至于读到内容还没有完全写入文件，文件就已经关闭了
方法一：加入缓冲区
f.flush() //operation os.fsync(output) f.close()
打开文件后执行flush(),关闭文件前执行os.fsync()确保缓冲区的内容都写出去了。
方法二：用sleep
用了上述方法不行，因为我在打开文件后用了迭代输出，可能会让缓冲区爆炸，在循环中加入sleep函数可以确保每次循环都能将内容写入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后来发现：
txt文件如果太大，在pycharm中只会显示一小部分，可能是指显示了部分文件导致未以为文件没写进去，fuck
以上这篇浅谈python写入大量文件的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python中的元组与逻辑运算符的用法,是Python入门学习中的基础知识,需要的朋友可以参考下2015-10-10
这篇文章主要介绍了Python中requests模块的请求参数详解,requests模块是一个网络请求模块，可以帮助我们模拟成客户端去请求服务器的数据,我们今天就是主要针对这个模块进行学习,需要的朋友可以参考下2023-08-08
timeit 模块是 Python 标准库中的模块，无需安装，直接导入就可以使用。这篇文章主要介绍了Python timeit模块的使用,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了python猜单词游戏的实现，从单词列表中随机选取一个单词，让玩家猜测，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
这篇文章主要介绍了mac系统下安装pycharm、永久激活、中文汉化详细教程,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了如何在Python中对文件进行操作，文章围绕主题展开内容，即使用Python中内置的open()函数来打开文件，返回文件对象，并对文件进行处理2022-08-08
这篇文章主要介绍了python开发实时可视化仪表盘的示例，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-05-05
这篇文章主要介绍了Python drop方法删除列之inplace参数实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了 python 中的 module 和 package ，文章基于Python的相关资料展开对主题的详细介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-04-04
这篇文章主要介绍了Python pickle模块实现对象序列化,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
最新评论