python多进程执行方法apply_async使用说明

更新时间：2021年03月05日 09:52:46 作者：yyyyyyyyyyang

这篇文章主要介绍了python多进程执行方法apply_async使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

apply_async简介

python在同一个线程中多次执行同一方法时，该方法执行耗时较长且每次执行过程及结果互不影响，如果只在主进程中执行，效率会很低，因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。

apply_async使用简明代码

import multiprocessing
#method为多次调用的方法
def method(param):
 pass
if __name__ == '__main__':
 pool = multiprocessing.Pool(processes=5)
 params= ['param1', 'param2', 'param3', 'param4', 'param5']
 for param in params:
  pool.apply_async(method, args=(param, )) 
 pool.close()

使用总结：

apply_async是异步非阻塞式，不用等待当前进程执行完毕，随时跟进操作系统调度来进行进程切换，即多个进程并行执行，提高程序的执行效率。

补充：记录python multiprocessing Pool的map和apply_async方法

遇到的问题

在学习python多进程时，进程上运行的方法接收多个参数和多个结果时遇到了问题，现在经过学习在这里总结一下

Pool.map()多参数任务

在给map方法传入带多个参数的方法不能达到预期的效果，像下面这样

def job(x ,y):
 return x * y
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job, 2, 3)
 print res

所以只能通过对有多个参数的方法进行封装，在进程中运行封装后的方法如下

def job(x ,y):
 return x * y
def job1(z):
 return job(z[0], z[1])
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job1, [(2, 3), (3, 4)])
 print res

这样就能达到传递多个参数的效果

ps：如果需要得到多个结果可以传入多个元组在一个列表中

Pool.apply_async()输出多个迭代结果

在使用apply_async()方法接收多个参数的方法时，在任务方法中正常定义多个参数，参数以元组形式传入即可

但是给apply_async()方法传入多个值获取多个迭代结果时就会报错，因为该方法只能接收一个值，所以可以将该方法放入一个列表生成式中，如下

def job(x):
 return x * x
if __name__ == "__main__":
 pool multiprocessing.Pool()
 res = [pool.apply_async(target=job, (i,)) for i in range(3)]
 print [r.get() for r in res]

python 3中提供了starmap和startmap_async两个方法

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

pycharm 代码自动补全的实现方法(图文)
这篇文章主要介绍了pycharm 代码自动补全的实现方法(图文)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
使用CodeMirror实现Python3在线编辑器的示例代码
这篇文章主要介绍了使用CodeMirror实现Python3在线编辑器的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-01-01
python列表的构造方法list()
这篇文章主要介绍了python列表的构造方法list()，python中没有数组这个概念，与之相应的是列表，本篇文章就来说说列表这个语法，下面文章详细内容，需要的小伙伴可以参考一下
2022-03-03
Python获取网页数据详解流程
读万卷书不如行万里路，只学书上的理论是远远不够的，只有在实战中才能获得能力的提升，本篇文章手把手带你用Python来获取网页的数据，主要应用了Requests库,大家可以在过程中查缺补漏，提升水平
2021-10-10
Django+Celery实现动态配置定时任务的方法示例
这篇文章主要介绍了Django + Celery 实现动态配置定时任务的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-05-05
Python3.6 + TensorFlow 安装配置图文教程（Windows 64 bit）
这篇文章主要介绍了Python3.6 + TensorFlow 安装配置的教程（Windows 64 bit）,本文通过图文并茂的形式给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
2020-02-02
在Django的URLconf中使用多个视图前缀的方法
这篇文章主要介绍了在Django的URLconf中使用多个视图前缀的方法,Django是Python中最为著名的遵循MVC结构的开发框架,需要的朋友可以参考下
2015-07-07
python多线程socket编程之多客户端接入
这篇文章主要为大家详细介绍了python多线程socket编程之多客户端接入，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-09-09
Python 爬取微博热搜页面
这篇文章主要介绍了Python 爬取微博热搜页面，关于Python 爬虫，爬取网页等相关内容一般可作为小练习，下面文章Python 爬取微博热搜页面也如此，需要的小伙伴可以参考一下
2022-01-01
生成Jupyter Lab快捷方式的小技巧
这篇文章主要介绍了生成Jupyter Lab快捷方式的小技巧，操作迅猛，花费时间少，步骤详细，有需要的朋友可以参考下，希望可以对广大读者朋友有所帮助
2021-09-09