python多进程使用apply_async的使用方法详解
前言:
python在同一个线程中多次执行同一方法时,该方法执行耗时较长且每次执行过程及结果互不影响,如果只在主进程中执行,效率会很低,因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。
apply_async是异步非阻塞式,不用等待当前进程执行完毕,随时跟进操作系统调度来进行进程切换,即多个进程并行执行,提高程序的执行效率。
示例代码1:
import time
import random
import multiprocessing
def func(x):
ts = random.randint(1, 10)
time.sleep(ts)
print(f'{x}执行完毕!耗时{ts}s')
if __name__ == '__main__':
pool = multiprocessing.Pool(6)
for i in range(6):
print(f"开始执行第{i}个任务...")
pool.apply_async(func, args=(i, ))
pool.close()
pool.join()运行结果:

在使用apply_async()方法接收多个参数的方法时,在任务方法中正常定义多个参数,参数以元组形式传入即可 但是给apply_async()方法传入多个值获取多个迭代结果时就会报错,因为该方法只能接收一个值,所以可以将该方法放入一个列表生成式中。
示例代码2:
import multiprocessing
def func(x):
return x ** 2
if __name__ == '__main__':
pool = multiprocessing.Pool()
res = [pool.apply_async(func, (i, )) for i in range(6)]
print([x for x in res])
print([x.get() for x in res])
pool.close()
pool.join()运行结果:

注意:join()等待所有子进程结束后再运行,使用join()前先使用close()关闭它。
到此这篇关于python多进程使用apply_async使用方法详解的文章就介绍到这了,更多相关python apply_async 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
Python基于similarities实现文本语义相似度计算和文本匹配搜索
similarities 实现了多种相似度计算、匹配搜索算法,支持文本、图像,python3开发,下面我们就来看看如何使用similarities实现文本语义相似度计算和文本匹配搜索吧2024-03-03
使用 Flask、Celery 和 Python 实现每月定时任务的步骤
下面给大家分享使用 Flask、Celery 和 Python 实现每月定时任务的步骤,本文分步骤结合脚本给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧2024-08-08
Python利用matplotlib.pyplot绘图时如何设置坐标轴刻度
Matplotlib是Python提供的一个二维绘图库,所有类型的平面图,包括直方图、散点图、折线图、点图、热图以及其他各种类型,都能由Python制作出来。本文主要介绍了关于Python利用matplotlib.pyplot绘图时如何设置坐标轴刻度的相关资料,需要的朋友可以参考下。2018-04-04
聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明
这篇文章主要介绍了聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
python利用proxybroker构建爬虫免费IP代理池的实现
这篇文章主要介绍了python利用proxybroker构建爬虫免费IP代理池,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2021-02-02


最新评论