python 多进程并行编程 ProcessPoolExecutor的实现

 更新时间:2019年10月11日 14:28:54   作者:颹蕭蕭  
这篇文章主要介绍了python 多进程并行编程 ProcessPoolExecutor的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

使用 ProcessPoolExecutor

from concurrent.futures import ProcessPoolExecutor, as_completed
import random

斐波那契数列

当 n 大于 30 时抛出异常

def fib(n):
  if n > 30:
    raise Exception('can not > 30, now %s' % n)
  if n <= 2:
    return 1
  return fib(n-1) + fib(n-2)

准备数组

nums = [random.randint(0, 33) for _ in range(0, 10)]
'''
[13, 17, 0, 22, 19, 33, 7, 12, 8, 16]
'''

方案一:submit

submit 输出结果按照子进程执行结束的先后顺序,不可控

 with ProcessPoolExecutor(max_workers=3) as executor:
    futures = {executor.submit(fib, n):n for n in nums}
    for f in as_completed(futures):
      try:
        print('fib(%s) result is %s.' % (futures[f], f.result()))
      except Exception as e:
        print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
fib(19) result is 4181.
can not > 30, now 33
fib(7) result is 13.
fib(12) result is 144.
fib(8) result is 21.
fib(16) result is 987.

'''

等价写法:

 with ProcessPoolExecutor(max_workers=3) as executor:
    futures = {}
    for n in nums:
      job = executor.submit(fib, n)
      futures[job] = n

    for job in as_completed(futures):
      try:
        re = job.result()
        n = futures[job]
        print('fib(%s) result is %s.' % (n, re))
      except Exception as e:
        print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
can not > 30, now 33
fib(7) result is 13.
fib(19) result is 4181.
fib(8) result is 21.
fib(12) result is 144.
fib(16) result is 987.
'''

方案二:map

map 输出结果按照输入数组的顺序

缺点:某一子进程异常会导致整体中断

 with ProcessPoolExecutor(max_workers=3) as executor:
    try:
      results = executor.map(fib, nums)
      for num, result in zip(nums, results):
        print('fib(%s) result is %s.' % (num, result))
    except Exception as e:
      print(e)
'''
fib(13) result is 233.
fib(17) result is 1597.
fib(0) result is 1.
fib(22) result is 17711.
fib(19) result is 4181.
can not > 30, now 33
'''

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 详解python持久化文件读写

    详解python持久化文件读写

    这篇文章主要介绍了python持久化文件读写,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • 解决python cv2.imread 读取中文路径的图片返回为None的问题

    解决python cv2.imread 读取中文路径的图片返回为None的问题

    这篇文章主要介绍了解决python cv2.imread 读取中文路径的图片返回为None的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • 使用PyTorch实现随机搜索策略

    使用PyTorch实现随机搜索策略

    这篇文章主要介绍了使用PyTorch实现随机搜索策略,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-07-07
  • 解决python使用pd.read_csv()出现错误UnicodeDecodeError: 'utf-8' codec can't decode......

    解决python使用pd.read_csv()出现错误UnicodeDecodeError: 'utf-8&

    你是否有过之前用pd.read打开csv文件都正常,但突然有一天运行以前的代码就突然报错,这篇文章主要给大家介绍了关于如何解决python使用pd.read_csv()出现错误UnicodeDecodeError: 'utf-8' codec can't decode......的相关资料,需要的朋友可以参考下
    2023-12-12
  • 小众实用的Python 爬虫库RoboBrowser

    小众实用的Python 爬虫库RoboBrowser

    这篇文章主要介绍了Python 爬虫库RoboBrowser的使用简介,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • Python中变量交换的例子

    Python中变量交换的例子

    这篇文章主要介绍了Python中变量交换的例子,Python中的变量交换不需要临时变量,一个等号即可实现变量的交换,非常方便,需要的朋友可以参考下
    2014-08-08
  • Python中的super()方法使用简介

    Python中的super()方法使用简介

    这篇文章主要介绍了Python中的super()方法的使用,是Python入门学习中的基础知识,需要的朋友可以参考下
    2015-08-08
  • python数据处理详情

    python数据处理详情

    这篇文章主要介绍了python数据处理详情,文章通过json文件的一个数据表展开对主题的详细说明,具有一定的参考价值需要的小伙伴可以参考一下
    2022-04-04
  • Python中的图像处理之Python图像平滑操作

    Python中的图像处理之Python图像平滑操作

    本文主要介绍在Python中调用OpenCV库对图像进行图像平滑滤波处理与图像加噪处理,如双边滤波,高斯双边滤波,图像加随机噪声等操作,对Python图像平滑操作感兴趣的朋友一起看看吧
    2022-06-06
  • Python3.5基础之变量、数据结构、条件和循环语句、break与continue语句实例详解

    Python3.5基础之变量、数据结构、条件和循环语句、break与continue语句实例详解

    这篇文章主要介绍了Python3.5基础之变量、数据结构、条件和循环语句、break与continue语句,结合实例形式详细分析Python3.5编程入门相关的变量、数据结构、常用条件与循环语句操作技巧及注意事项,需要的朋友可以参考下
    2019-04-04

最新评论