浅谈python写入大量文件的问题
更新时间：2018年11月09日 09:01:37 作者：NesCafee
今天小编就为大家分享一篇浅谈python写入大量文件的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天准备把几个txt文件合并成一个文件时，用f.write方法写入时，发现程序执行完了，本应该十万行左右的txt记录，实际上只被写入了4k多行。
网上查了是因为程序执行速度太快，以至于读到内容还没有完全写入文件，文件就已经关闭了
方法一：加入缓冲区
f.flush() //operation os.fsync(output) f.close()
打开文件后执行flush(),关闭文件前执行os.fsync()确保缓冲区的内容都写出去了。
方法二：用sleep
用了上述方法不行，因为我在打开文件后用了迭代输出，可能会让缓冲区爆炸，在循环中加入sleep函数可以确保每次循环都能将内容写入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后来发现：
txt文件如果太大，在pycharm中只会显示一小部分，可能是指显示了部分文件导致未以为文件没写进去，fuck
以上这篇浅谈python写入大量文件的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了使用systemd部署服务的过程解析,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-06-06
这篇文章主要介绍了基于Python中Remove函数的用法讨论，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
这篇文章主要为大家详细介绍了如何利用Python实现录屏功能，文中的示例代码讲解详细，对我们掌握Python开发有一定的帮助，需要的可以参考一下2023-03-03
PyTorch加载模型model.load_state_dict()问题及解决
这篇文章主要介绍了PyTorch加载模型model.load_state_dict()问题及解决，具有很好的参考价值，希望对大家有所帮助。2023-02-02
这篇文章主要介绍了python发送HTTP请求的方法,实例总结了GET、HEAD与POST方式发送http请求的相关技巧,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了python中前缀运算符 *和 **的用法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧2020-05-05
这篇文章主要介绍了Python3爬虫学习入门,简单介绍了Python3爬虫的功能、原理及使用爬虫爬取知乎首页相关操作技巧,需要的朋友可以参考下2018-12-12
用python处理地理位置是非常常见的需求,下面这篇文章主要给大家介绍了关于python使用百度或高德地图获取地理位置并转换的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
在使用python的时候,有时候会需要找到python包的安装位置,本文主要介绍了查看Python安装路径几种方法,具有一定的参考价值,感兴趣的可以了解一下2023-09-09
python如何在一个py文件中获取另一个py文件中的值(一个或多个)
这篇文章主要介绍了python如何在一个py文件中获取另一个py文件中的值(一个或多个)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-08-08
最新评论