Python3并发写文件与Python对比
更新时间：2019年11月20日 16:47:18 作者：川川籽
这篇文章主要介绍了Python3并发写文件原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了Python3并发写文件原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用python2在进行并发写的时候，发现文件会乱掉，就是某一行中间会插入其他行的内容。
但是在使用python3进行并发写的时候，无论是多进程，还是多线程，都没有出现这个问题，难道是python3的特性吗？
import time
import os
import multiprocessing
from multiprocessing.dummy import Pool as ThreadPool
def write(val, file):
w = open(file, "a")
for i in range(100):
w.write("%s\n" % val)
time.sleep(0.001)
def thread_write(file):
res, pools = [], ThreadPool(10)
for i in range(10):
val = str(i) * 1000
res.append(pools.apply_async(func=write, args=(val, file, )))
while res:
for ret in res:
if ret.ready():
res.remove(ret)
time.sleep(0.01)
def mutil_write(file):
pools = multiprocessing.Pool(processes=10)
res = []
for i in range(100):
res.append(pools.apply_async(thread_write, args=(file, )))
while res:
for ret in res:
if ret.ready():
res.remove(ret)
time.sleep(0.01)
if __name__ == '__main__':
file = "./write_test"
mutil_write(file)
with open(file) as fb:
lines = 0
line_len = []
for line in fb:
lines += 1
line = line.strip()
line_len.append(len(line))
if len(line) != 1000:
raise(Exception("error line: %s, len: %d" % (line, len(line))))
print("lines:%d, max len:%d, min:%d, avg:%.2f" % (lines, max(line_len), min(line_len), sum(line_len)/len(line_len)))
os.remove(file)
上面代码，多进程并发写结束后，校验每一行的长度是否是设置好的长度。用python3反复运行，均通过测试没有异常。
$ python3 --version Python 3.7.4 $ python3 t.py lines:10000, max len:1000, min:1000, avg:1000.00
如果用python2，则会出现异常：
$ python2 --version
Python 2.7.15
$ python2 t.py
Traceback (most recent call last):
File "t.py", line 49, in <module>
raise(Exception("error line: %s, len: %d" % (line, len(line))))
Exception: error line: 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333330000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000, len: 1092
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现购物车功能的方法,结合实例形式分析了Python实现购物车功能的具体步骤、相关操作技巧与注意事项,需要的朋友可以参考下2017-11-11
今天小编就为大家分享一篇基于python二叉树的构造和打印例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了pytorch如何保存训练模型参数并实现继续训练问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要介绍了Python模拟登录12306的方法,是非常实用的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2014-12-12
这篇文章主要为大家详细介绍了python使用梯度下降算法实现一个多线性回归，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-03-03
下面小编就为大家带来一篇python循环遍历字典元素的简单方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-09-09
这篇文章主要介绍了通过15行Python代码实现免费发送手机短信推送消息功能,通过实例代码截图的形式给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python通过psd-tools解析PSD文件，文章围绕主题展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下2022-06-06
这篇文章主要为大家详细介绍了如何使用Python编写一个简易的抽奖系统,顺便帮助大家巩固一下对Python语法和框架的理解,感兴趣的小伙伴可以了解下2023-12-12
今天小编就为大家分享一篇python解决字符串倒序输出的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
最新评论