Python实现多进程之间共享变量

 更新时间:2024年11月25日 09:19:01   作者:程序员贝塔  
Python多线程和多进程之间共享变量的方法有所不同,多线程可以直接使用global变量,而多进程则需要使用multiprocessing库中的Value、Array、Queue等或Manager模块,Pool进程池中进程间共享变量时,必须使用Manager模块,在共享list时,不能直接赋值

Python多进程之间共享变量

Python 多线程之间共享变量很简单,直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元,这种方法就不可行了。

不过 Python 标准库已经给我们提供了这样的能力,使用起来也很简单。

但要分两种情况来看,一种是 Process 多进程,一种是 Pool 进程池的方式。

Process 多进程

使用 Process 定义的多进程之间共享变量可以直接使用 multiprocessing 下的 Value,Array,Queue 等,如果要共享 list,dict,可以使用强大的 Manager 模块。

import multiprocessing

def func(num):
    # 共享数值型变量
    # num.value = 2

    # 共享数组型变量
    num[2] = 9999


if __name__ == '__main__':
    # 共享数值型变量
    # num = multiprocessing.Value('d', 1)
    # print(num.value)

    # 共享数组型变量
    num = multiprocessing.Array('i', [1, 2, 3, 4, 5])
    print(num[:])

    p = multiprocessing.Process(target=func, args=(num,))
    p.start()
    p.join()

    # 共享数值型变量
    # print(num.value)

    # 共享数组型变量
    print(num[:])

Pool 进程池

进程池之间共享变量是不能使用上文方式的,因为进程池内进程关系并非父子进程,想要共享,必须使用 Manager 模块来定义。

from multiprocessing import Pool, Manager

def func(my_list, my_dict):
    my_list.append(10)
    my_list.append(11)
    my_dict['a'] = 1
    my_dict['b'] = 2


if __name__ == '__main__':
    manager = Manager()
    my_list = manager.list()
    my_dict = manager.dict()

    pool = Pool(processes=2)
    for i in range(0, 2):
        pool.apply_async(func, (my_list, my_dict))
    pool.close()
    pool.join()

    print(my_list)
    print(my_dict)

还有一点需要注意,在共享 list 时,像下面这样写 func 是不起作用的。

def func(my_list, my_dict):
    my_list = [10, 11]
    my_dict['a'] = 1
    my_dict['b'] = 2

这样写相当于重新定义了一个局部变量,并没有作用到原来的 list 上,必须使用 append,extend 等方法。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 详解Django CAS 解决方案

    详解Django CAS 解决方案

    这篇文章主要介绍了详解Django CAS 解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • PyQt6中QWidget 和QMainWindow的区别小结

    PyQt6中QWidget 和QMainWindow的区别小结

    QWidget 和 QMainWindow 是 PyQt 中两个常用的类,它们在功能和用途上有显著区别,本文主要介绍了PyQt6中QWidget 和QMainWindow的区别小结,感兴趣的可以了解一下
    2025-05-05
  • 人脸检测——基于Flask和PaddleHub

    人脸检测——基于Flask和PaddleHub

    这篇文章详细介绍了基于Flask和PaddleHub来进行人脸检测,想详细了解的朋友可以参考阅读
    2023-03-03
  • Python学习小技巧之列表项的推导式与过滤操作

    Python学习小技巧之列表项的推导式与过滤操作

    这篇文章主要给大家介绍了Python学习小技巧之列表项的推导式与过滤操作的相关资料,文中介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看把。
    2017-05-05
  • Python的NumPy使用之数组过滤

    Python的NumPy使用之数组过滤

    这篇文章主要介绍了Python的NumPy使用之数组过滤,在 NumPy中,我们使用布尔索引列表来过滤数组布尔索引列表是与数组中的索引相对应的布尔值列表,需要的朋友可以参考下
    2023-07-07
  • pytorch随机采样操作SubsetRandomSampler()

    pytorch随机采样操作SubsetRandomSampler()

    这篇文章主要介绍了pytorch随机采样操作SubsetRandomSampler(),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • Python的底层内存模型之模块、类、对象的存储与运行机制

    Python的底层内存模型之模块、类、对象的存储与运行机制

    这篇文章介绍了Python的底层内存模型之模块、类、对象的存储与运行机制,从内存布局、对象存储、属性管理三个核心维度,总结汇总 Python 的底层内存模型和运行机制,感兴趣的朋友跟随小编一起看看吧
    2026-02-02
  • 详解Python中数据处理的方法总结及实现

    详解Python中数据处理的方法总结及实现

    数据增强作为前处理的关键步骤,在整个计算机视觉中有着具足轻重的地位。本文为大家总结了Python中数据处理的方法及实现,需要的可以参考一下
    2022-09-09
  • Django创建一个后台的基本步骤记录

    Django创建一个后台的基本步骤记录

    这篇文章主要给大家介绍了关于Django创建一个后台的基本步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Python接口自动化之浅析requests模块get请求

    Python接口自动化之浅析requests模块get请求

    这篇文章主要介绍了requests模块get请求,在Python语言中,虽然提供了urllib2和urllib的库,但是相比较而言,Requests仍然是实现接口测试最好的选择,因为它是用起来更加简便
    2021-08-08

最新评论