Python多进程并发(multiprocessing)用法实例详解
更新时间：2015年06月02日 16:35:34 作者：songguo
这篇文章主要介绍了Python多进程并发(multiprocessing)用法,实例分析了multiprocessing模块进程操作的相关技巧,需要的朋友可以参考下
本文实例讲述了Python多进程并发(multiprocessing)用法。分享给大家供大家参考。具体分析如下：
由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。
Python提供了非常好用的多进程包multiprocessing，你只需要定义一个函数，Python会替你完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。
1、新建单一进程
如果我们新建少量进程，可以如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
p = multiprocessing.Process(target=func, args=("hello", ))
p.start()
p.join()
print "Sub-process done."
2、使用进程池
是的，你没有看错，不是线程池。它可以让你跑满多核CPU，而且使用方法非常简单。
注意要用apply_async，如果落下async，就变成阻塞版本了。
processes=4是最多并发进程数量。
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
for i in xrange(10):
msg = "hello %d" %(i)
pool.apply_async(func, (msg, ))
pool.close()
pool.join()
print "Sub-process(es) done."
3、使用Pool，并需要关注结果
更多的时候，我们不仅需要多进程执行，还需要关注每个进程的执行结果，如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
return "done " + msg
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
result = []
for i in xrange(10):
msg = "hello %d" %(i)
result.append(pool.apply_async(func, (msg, )))
pool.close()
pool.join()
for res in result:
print res.get()
print "Sub-process(es) done."
希望本文所述对大家的Python程序设计有所帮助。
相关文章
傅里叶变换，也称作傅立叶变换，表示能将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。本文将介绍如何通过OpenCV实现图像的傅里叶变换，需要的可以参考一下2022-01-01
这篇文章主要介绍了Python reflect单例模式反射各个函数，文章围绕主题展开详细的内容介绍，具有一定的参考价值需要的小伙伴可以参考一下2022-06-06
单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保 某一个类只有一个实例存在.这篇文章主要介绍了单利模式及python实现方式及Python单例模式的4种实现方法,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了初学Python函数的整理笔记,包括一些基础的参数使用方法以及匿名函数等特性的使用,需要的朋友可以参考下2015-04-04
selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题，这篇文章主要介绍了selenium环境搭建及基本元素定位方式,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python with语句的原理与用法,结合实例形式详细分析了python with语句基本概念、原理、用法及操作注意事项,需要的朋友可以参考下2020-03-03
python发送邮件的一些例子，有需要的朋友可以参考下2013-03-03
这篇文章主要介绍了python几种常用功能实现代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了python中的默认编码使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
这篇文章主要介绍了Python中类型关系和继承关系,较为详细的分析了Python中类型关系和继承关系的原理与使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-05-05
最新评论