对Python的多进程锁的使用方法详解

 更新时间:2019年02月18日 14:27:38   作者:田野上的希望  
今天小编就为大家分享一篇对Python的多进程锁的使用方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

很多时候,我们需要在多个进程中同时写一个文件,如果不加锁机制,就会导致写文件错乱

这个时候,我们可以使用multiprocessing.Lock()

我一开始是这样使用的:

import multiprocessing
lock = multiprocessing.Lock()
class MatchProcess(multiprocessing.Process):
  def __init__(self, threadId, mfile, lock):
    multiprocessing.Process.__init__(self)
    self.threadId = threadId
    self.mfile = mfile
    self.lock = lock
  def run(self):
    while True:
       self.lock.acquire()
       try:
         self.mfile.write('111111111111111111' + '\n')
       finally:
         self.lock.release()
 
if __name__ == '__main__':
  mf = open('test.lst', 'w')
  for i in range(15):
    p = MatchProcess(i, mf, lock)
    p.start() 

发现这种方式,锁并没有起作用, 文件内容依然出现了错乱(注意,我这里写的1111是示例,我的代码实际写的其他内容)

所以这种方式,虽然lock通过参数传到了每个进程中,但是我们知道进程之间是不共享内存的,所以我理解应该是每个进程获得的锁其实是不同的, 所以无法对写文件起到加锁的效果

进程池是否可行呢,于是做了如下尝试

def run(line):
  lock.acquire()
    try:
      mfile.write('111111111111111111' + '\n')
  finally:
    lock.release()
sf = open('test.lst', 'r')
data_lst = list()
for line in sf: 
  line = line.strip()
  data_lst.append(line)
pool = Pool(15)
pool.map_async(run, data_lst) #map_async方法会将data_lst这个可迭代的对象里面的每个元素依次传入run方法来执行
pool.close()
pool.join()
print 'over'

但是注意:

pool.close()
pool.join()

这两行代码必不可少,否则,主进程执行完毕后会退出,导致整个进程结束

所以在整个进程全部执行完毕后,才会打印出over

但是这种方式,发现,锁仍然不起作用

最后采用了如下方式:

def run(line):
  mfile = open('test2.lst', 'a')
  lock.acquire()
  try:
    mfile.write('111111111111111111' + '\n')
  finally:
    lock.release()
 
sf = open('test.lst', 'r')
data_lst = list()
for line in sf: 
  line = line.strip()
  data_lst.append(line)
 
pList = []
for line in line_lst:
  p = multiprocessing.Process(target=run, args=(line, lock))
  p.start()
  pList.append(p)
 
for p in pList:
  p.join()

是亲测发现,这种方式,锁的确起作用了,在每次写入数据量很大的情况下,速度很慢

但是一个比较恶心的问题是,我一开始试图将文件打开后通过Process对象的args参数传入到run方法中,但是发现数据无法写入到文件中,见鬼,这个问题我还没搞明白

无耐,只能采取上面的笨方法,在每次写入的时候打开然后写入,这肯定不是明智的做法,如果有更好的办法,请留言我

也就是说,文件打开后传入,是无效的,那么可以将文件名传入,然后在run方法中每次写的时候先打开,写入后关闭应该也是可行的。

但是为什么我文章采用的第一种方式,也是文件打开后传入,却是可行的。

以上这篇对Python的多进程锁的使用方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Django完整增删改查系统实例代码

    Django完整增删改查系统实例代码

    Django实现增删改查,主要是依赖于models来实现的,下面这篇文章主要给大家介绍了关于Django完整增删改查系统的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-08-08
  • pyspark给dataframe增加新的一列的实现示例

    pyspark给dataframe增加新的一列的实现示例

    这篇文章主要介绍了pyspark给dataframe增加新的一列的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • 详解Python中4种超参自动优化算法的实现

    详解Python中4种超参自动优化算法的实现

    要想模型效果好,每个算法工程师都应该了解的流行超参数调优技术。今天给大家总结超参自动优化方法:网格搜索、随机搜索、贝叶斯优化 和 Hyperband,感兴趣的可以了解一下
    2022-05-05
  • Python制表符\t的具体使用

    Python制表符\t的具体使用

    本文详细介绍了Python中制表符(\t)的作用,包括代码缩进和数据对齐,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-12-12
  • 浅析Python中生成器和迭代器的神奇力量

    浅析Python中生成器和迭代器的神奇力量

    在Python中,生成器和迭代器是实现惰性计算的两种重要工具,它们可以帮助我们更有效地处理数据接下来,小编就来为大家详细介绍这两种工具吧
    2023-07-07
  • 程序员的七夕用30行代码让Python化身表白神器

    程序员的七夕用30行代码让Python化身表白神器

    转眼又到了咱们中国传统的情人节七夕了,今天笔者就带大家来领略一下用Python表白的方式,感兴趣的朋友跟随小编一起看看吧
    2019-08-08
  • Python判断中文字符串是否相等的实例

    Python判断中文字符串是否相等的实例

    今天小编就为大家分享一篇Python判断中文字符串是否相等的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • PyQt5通过信号实现MVC的示例

    PyQt5通过信号实现MVC的示例

    这篇文章主要介绍了PyQt5通过信号实现MVC的示例,帮助大家更好的理解和使用pyqt5,感兴趣的朋友可以了解下
    2021-02-02
  • 利用python制作俄罗斯方块详细图文教程

    利用python制作俄罗斯方块详细图文教程

    俄罗斯方块是一款经典的游戏,它可以用多种编程语言来实现,这篇文章主要给大家介绍了关于利用python制作俄罗斯方块的详细图文教程,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-10-10
  • anaconda如何查看并管理python环境

    anaconda如何查看并管理python环境

    这篇文章主要介绍了anaconda如何查看并管理python环境,Anaconda是Python的一个开源发行版本,主要面向科学计算,预装了丰富强大的库。使用Anaconda可以轻松管理多个版本的Python环境,需要的朋友可以参考下
    2019-07-07

最新评论