Python实现多进程之间共享变量

 更新时间:2024年11月25日 09:19:01   作者:程序员贝塔  
Python多线程和多进程之间共享变量的方法有所不同,多线程可以直接使用global变量,而多进程则需要使用multiprocessing库中的Value、Array、Queue等或Manager模块,Pool进程池中进程间共享变量时,必须使用Manager模块,在共享list时,不能直接赋值

Python多进程之间共享变量

Python 多线程之间共享变量很简单,直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元,这种方法就不可行了。

不过 Python 标准库已经给我们提供了这样的能力,使用起来也很简单。

但要分两种情况来看,一种是 Process 多进程,一种是 Pool 进程池的方式。

Process 多进程

使用 Process 定义的多进程之间共享变量可以直接使用 multiprocessing 下的 Value,Array,Queue 等,如果要共享 list,dict,可以使用强大的 Manager 模块。

import multiprocessing

def func(num):
    # 共享数值型变量
    # num.value = 2

    # 共享数组型变量
    num[2] = 9999


if __name__ == '__main__':
    # 共享数值型变量
    # num = multiprocessing.Value('d', 1)
    # print(num.value)

    # 共享数组型变量
    num = multiprocessing.Array('i', [1, 2, 3, 4, 5])
    print(num[:])

    p = multiprocessing.Process(target=func, args=(num,))
    p.start()
    p.join()

    # 共享数值型变量
    # print(num.value)

    # 共享数组型变量
    print(num[:])

Pool 进程池

进程池之间共享变量是不能使用上文方式的,因为进程池内进程关系并非父子进程,想要共享,必须使用 Manager 模块来定义。

from multiprocessing import Pool, Manager

def func(my_list, my_dict):
    my_list.append(10)
    my_list.append(11)
    my_dict['a'] = 1
    my_dict['b'] = 2


if __name__ == '__main__':
    manager = Manager()
    my_list = manager.list()
    my_dict = manager.dict()

    pool = Pool(processes=2)
    for i in range(0, 2):
        pool.apply_async(func, (my_list, my_dict))
    pool.close()
    pool.join()

    print(my_list)
    print(my_dict)

还有一点需要注意,在共享 list 时,像下面这样写 func 是不起作用的。

def func(my_list, my_dict):
    my_list = [10, 11]
    my_dict['a'] = 1
    my_dict['b'] = 2

这样写相当于重新定义了一个局部变量,并没有作用到原来的 list 上,必须使用 append,extend 等方法。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python海龟绘图之绘制趣味简笔画

    Python海龟绘图之绘制趣味简笔画

    大家好,本篇文章主要讲的是Python海龟绘图之绘制趣味简笔画,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12
  • python中精确的浮点数运算示例

    python中精确的浮点数运算示例

    这篇文章主要为大家介绍了python中精确的浮点数运算示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07
  • python对二维数组赋值问题

    python对二维数组赋值问题

    这篇文章主要介绍了python对二维数组赋值问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 基于python requests selenium爬取excel vba过程解析

    基于python requests selenium爬取excel vba过程解析

    这篇文章主要介绍了基于python requests selenium爬取excel vba过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • python使用PyGame绘制图像并保存为图片文件的方法

    python使用PyGame绘制图像并保存为图片文件的方法

    这篇文章主要介绍了python使用PyGame绘制图像并保存为图片文件的方法,涉及Python使用PyGame操作图片的相关技巧,需要的朋友可以参考下
    2015-04-04
  • 如何使用OpenCV实现手势音量控制

    如何使用OpenCV实现手势音量控制

    今天来学习一下如何使用OpenCV实现手势音量控制,本次实验需要使用OpenCV和mediapipe库进行手势识别,并利用手势距离控制电脑音量,感兴趣的朋友跟随小编一起看看吧
    2023-11-11
  • python 读取以空格分开的文件操作

    python 读取以空格分开的文件操作

    这篇文章主要介绍了python 读取以空格分开的文件操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • 在pycharm中文件取消用 pytest模式打开的操作

    在pycharm中文件取消用 pytest模式打开的操作

    这篇文章主要介绍了在pycharm中文件取消用 pytest模式打开的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • python 如何使用find和find_all爬虫、找文本的实现

    python 如何使用find和find_all爬虫、找文本的实现

    这篇文章主要介绍了python 如何使用find和find_all,爬虫、找文本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Python实现单项链表的最全教程

    Python实现单项链表的最全教程

    单向链表也叫单链表,是链表中最简单的一种形式,它的每个节点包含两个域,一个信息域(元素域)和一个链接域,这个链接指向链表中的下一个节点,而最后一个节点的链接域则指向一个空值,这篇文章主要介绍了Python实现单项链表,需要的朋友可以参考下
    2023-01-01

最新评论