Python使用多进程运行含有任意个参数的函数
1. 问题引出
许多时候，我们对程序的速度都是有要求的，速度自然是越快越好。对于Python的话，一般都是使用multiprocessing这个库来实现程序的多进程化，例如：
我们有一个函数my_print，它的作用是打印我们的输入：
def my_print(x):
print(x)
但是我们嫌它的速度太慢了，因此我们要将这个程序多进程化：
from multiprocessing import Pool def my_print(x): print(x) if __name__ == "__main__": x = [1, 2, 3, 4, 5] pool = Pool() pool.map(my_print, x) pool.close() pool.join()
很好，现在速度与之前的单进程相比提升非常的快，但是问题来了，如果我们的参数不只有一个x，而是有多个，这样能行吗？比如现在my_print新增一个参数y：
def my_print(x, y):
print(x + y)
查看pool.map的函数说明：
def map(self, func, iterable, chunksize=None): ''' Apply `func` to each element in `iterable`, collecting the results in a list that is returned. ''' return self._map_async(func, iterable, mapstar, chunksize).get()
发现函数的参数是作为iter传进去的，但是我们现在有两个参数，自然想到使用zip将参数进行打包：
if __name__ == "__main__": x = [1, 2, 3, 4, 5] y = [1, 1, 1, 1, 1] zip_args = list(zip(x, y)) pool = Pool() pool.map(my_print, zip_args) pool.close() pool.join()
可是执行后却发现，y参数并没有被传进去：
那么如何传入多个参数呢？这也就是本文的重点，接着往下看吧。
2. 解决方案
2.1 使用偏函数（partial）
偏函数有点像数学中的偏导数，可以让我们只关注其中的某一个变量而不考虑其他变量的影响。上面的例子中，Y始终等于1，那么我们在传入参数的时候，只需要考虑X的变化即可。
例如你有一个函数，该函数有两个参数a,b，a是不同路径的下的图片的路径，b是输出的路径。很明显，a是一直在变化的，但是因为我们要将所有图片保存在同一个文件夹下，那么b很可能一直都没变。
具体如下：
if __name__ == '__main__':# 多线程，多参数，partial版本 x = [1, 2, 3, 4, 5] y = 1 partial_func = partial(my_print, y=y) pool = Pool() pool.map(partial_func, x) pool.close() pool.join()
2.2 使用可变参数
在Python函数中，函数可以定义可变参数。顾名思义，可变参数就是传入的参数个数是可变的，可以是1个、2个到任意个，这就直接给我们提供了一种思路。具体如下：
def multi_wrapper(args): return my_print(*args) def my_print(x, y): print(x + y) if __name__ == "__main__": # 多线程，多参数，可变参数版本 x = [1, 2, 3, 4, 5] y = [1, 1, 1, 1, 1] zip_args = list(zip(x, y)) pool = Pool() pool.map(multi_wrapper, zip_args) pool.close() pool.join()
2.3 使用pathos提供的多进程库
from pathos.multiprocessing import ProcessingPool as newPool if __name__ == '__main__':# 多线程，多参数，pathos版本 x = [1, 2, 3, 4, 5] y = [1, 1, 1, 1, 1] pool = newPool() pool.map(my_print, x, y) pool.close() pool.join()
在该库的map函数下，可以看到，它允许多参数输入，其实也就是使用了可变参数：
def map(self, f, *args, **kwds): AbstractWorkerPool._AbstractWorkerPool__map(self, f, *args, **kwds) _pool = self._serve() return _pool.map(star(f), zip(*args)) # chunksize
2.4 使用starmap函数
if __name__ == '__main__': # 多线程，多参数，starmap版本 x = [1, 2, 3, 4, 5] y = [1, 1, 1, 1, 1] zip_args = list(zip(x, y)) pool = Pool() pool.starmap(my_print, zip_args) pool.close() pool.join()
3. 总结
其实在以上4种实现方法中 ，第1种方法的限制较多，如果该函数的其它参数都在变化的话，那么它就不能很好地工作，而剩下的方法从体验上来讲是依次递增的，它们都可以接受任意多参数的输入，但是第2种需要额外写一个函数，扣分；第3种方法需要额外安装pathos包，扣分；而最后一种方法不需要任何额外不择就可以完成，所以，推荐大家选择第4种方法！
以上这篇Python使用多进程运行含有任意个参数的函数就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
学了函数才算是能推动python的门了,今天就带大家了解一下函数的相关知识,文中有非常详细的介绍,需要的朋友可以参考下2021-06-06
在这篇博客中,我们将详细剖析一个基于 Python 的图形界面应用程序,该程序使用 wxPython 构建用户界面,并结合 MoviePy、Pillow 和 OpenCV 等库实现照片管理和视频合成功能,通过对代码的逐部分分析,需要的朋友可以参考下2025-04-04
这篇文章主要介绍了Python中的两个内置模块介绍,本文讲解Python启动后默认会加载的两个内建模块,需要的朋友可以参考下2015-04-04
这篇文章主要为大家详细介绍了PyQt5实现登录页面，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-05-05
这篇文章主要介绍了利用Python实现电影订票系统，一部电影的详细信息适合用 字典 结构来存储，我们可以给字典里添加多个键值对来保存电影的名称、座位表和宣传时用的字符画,需要的朋友可以参考一下2022-03-03
python3第三方爬虫库BeautifulSoup4安装教程
这篇文章主要为大家详细介绍了python3第三方爬虫库BeautifulSoup4的安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
在声明函数的时候，一般会根据函数所要实现的功能来决定函数是否需要参数。在多数情况下，我们声明的函数都会使用到参数，这篇文章主要介绍了Python函数参数2022-08-08
这篇文章主要介绍了Python实现快速计算词频功能,结合实例形式总结分析了Python使用nltk库进行词频计算功能的相关操作技巧,需要的朋友可以参考下2018-06-06
这篇文章主要给大家介绍了关于Python中可迭代对象、迭代器和生成器的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-08-08
字典数据是有序的, 但是这个序不是由外部控制, 而是内部字典定位机制的序 所以对外来讲, 数据本身是无序的 你每次遍历的顺序一样, 是因为枚举结果是按内部排序输出 而无序则表示在你无法从外部控制最终的输出顺序，下面我们来学习Python字典有序性的相关资料又当怎样吧2021-12-12
最新评论