python 进程间数据共享multiProcess.Manger实现解析

 更新时间:2019年09月23日 10:12:40   作者:Cecilia喜陈  
这篇文章主要介绍了python 进程间数据共享multiProcess.Manger实现解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

一、进程之间的数据共享

展望未来,基于消息传递的并发编程是大势所趋

即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换数据。

这样极大地减少了对使用锁定和其他同步手段的需求,还可以扩展到分布式系统中。

但进程间应该尽量避免通信,即便需要通信,也应该选择进程安全的工具来避免加锁带来的问题。

以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。

1.1 Manager模块介绍

虽然进程间数据独立,但可以通过Manager实现数据共享,事实上Manager的功能远不止于此。

A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.

A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.

1.2 Manager例子

manager这里可以共享列表,字典等很多数据类型

from multiprocessing import Manager,Process,Lock
def work(d,lock):
  lock.acquire()
  d['count'] -= 1
  lock.release()
if __name__ == '__main__':
  lock = Lock()
  with Manager() as m:
    dic = m.dict({'count':100})#生成一个字典,可在多个进程间共享和传递
    p_l = []
    for i in range(100):
      p = Process(target=work,args=(dic,lock))
      p_l.append(p)
      p.start()
    for p in p_l: #等待结果
      p.join()
    print(dic)

{'count':0}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python docx的超链接网址和链接文本操作

    python docx的超链接网址和链接文本操作

    这篇文章主要介绍了python docx的超链接网址和链接文本操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Python调用Jar包的两种方式小结

    Python调用Jar包的两种方式小结

    这篇文章主要介绍了Python调用Jar包的两种方式小结,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • python模拟实现斗地主发牌

    python模拟实现斗地主发牌

    这篇文章主要为大家详细介绍了python代码模拟实现斗地主发牌,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-01-01
  • Python笔记之观察者模式

    Python笔记之观察者模式

    这篇文章主要为大家详细介绍了Python笔记之观察者模式,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • Python2到Python3的迁移过程中报错AttributeError: ‘str‘ object has no attribute ‘decode‘问题的解决方案大全

    Python2到Python3的迁移过程中报错AttributeError: ‘str‘ objec

    在 Python 编程过程中,AttributeError: 'str' object has no attribute 'decode' 是一个常见的错误,这通常会在处理字符串时出现,尤其是在 Python 2 到 Python 3 的迁移过程中,本文将详细介绍该问题的根源,并提供解决方案,需要的朋友可以参考下
    2025-04-04
  • Python抓包程序mitmproxy安装和使用过程图解

    Python抓包程序mitmproxy安装和使用过程图解

    这篇文章主要介绍了Python mitmproxy包安装和使用过程图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • PyTorch加载预训练模型实例(pretrained)

    PyTorch加载预训练模型实例(pretrained)

    今天小编就为大家分享一篇PyTorch加载预训练模型实例(pretrained),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • python操作手机app的实现步骤

    python操作手机app的实现步骤

    本文主要介绍了python操作手机app的实现步骤,本文将结合实例代码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-07-07
  • python使用pymongo操作mongo的完整步骤

    python使用pymongo操作mongo的完整步骤

    这篇文章主要给大家介绍了关于python使用pymongo操作mongo的完整步骤,文中通过示例代码介绍的非常详细,对大家学习或者使用python具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-04-04
  • import sklearn报错正确安装sklearn的解决方法

    import sklearn报错正确安装sklearn的解决方法

    这篇文章主要介绍了import sklearn报错正确安装sklearn的解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04

最新评论