Python基于进程池实现多进程过程解析

 更新时间:2020年04月30日 11:32:22   作者:杰鑫哥  
这篇文章主要介绍了Python基于进程池实现多进程过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、注意:pool必须在 if __name__ == '__main__' 下面运行,不然会报错

2、多进程内出现错误会直接跳过该进程,并且默认不会打印错误信息

3、if__name__下面的数据需要通过参数传入主函数里面,不然主函数获取不到该数据值而报错。

4、若不通过传参形式传入数据,可以定义全局变量。但是全局变量的值不能在多进程里面进行修改。

代码如下

from multiprocessing import Pool # 进程池,用于多进程
import os # 用于获取当前执行的文件名
import time
import traceback # 用于捕获异常
import sys # 用于捕获异常


def main_func(i): # 多进程运行的函数
  try: # 多进程中发生异常是不会打印错误信息,并且当前进程会直接跳过,所以异常需要自行捕获
    rand_time = random.randint(1, 3) # 随机产生1~3的整数
    time.sleep(rand_time )
    print(i)
  except:
    current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 获取当前文件名称
    cur_err_filname = current_filename + '_error.txt'
    error_info = sys.exc_info() # 打印异常
    with open(f'{cur_err_filname }', 'a') as f:
      error_str = f'{i}:ERROR OCCURRED,{time.strftime("%Y-%m-%d %H:%M:%S")}:\n {error_info[0]}: {error_info[1]}' # 记录当前进程特征值,错误发生时间 ,错误类型,错误概述
      print(error_str, file=f) # 通过打印方式写入文件
      traceback.print_tb(error_info[2], file=f) # 错误细节描述(包括bug的代码位置)
      f.write(f"{'=' * 50}\n") # 分行


if __name__ == '__main__': # 必须在此语句下面运行,不然会报错
  pool = Pool(5) # 定义进程数量
  for i in range(20):
    pool.apply_async(main_func, (i, )) # 调用函数执行多进程
  pool.close() # 关闭进程池
  pool.join() # 阻塞进程,此两部不能少,保证多进程正常运行

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python自动化测试之DDT数据驱动的实现代码

    python自动化测试之DDT数据驱动的实现代码

    这篇文章主要介绍了python自动化测试之DDT数据驱动的实现代码,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • python cs架构实现简单文件传输

    python cs架构实现简单文件传输

    这篇文章主要为大家详细介绍了python cs架构实现简单文件传输,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-07-07
  • Python的面向对象编程方式学习笔记

    Python的面向对象编程方式学习笔记

    Python深度具备面向对象编程语言所应有的特性,这里我们以类和方法为主,来整理一下Python的面向对象编程方式学习笔记:
    2016-07-07
  • Python中fnmatch模块的使用详情

    Python中fnmatch模块的使用详情

    这篇文章主要介绍了Python中fnmatch模块的使用详情,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • Matplotlib快速入门指南(适合小白)

    Matplotlib快速入门指南(适合小白)

    这篇文章主要给大家介绍了关于Matplotlib快速入门指南的相关资料,Matplotlib是一个非常强大的Python画图工具,支持跨平台运行,它不仅是Python常用的2D绘图库,同时它也提供了一部分3D绘图接口,需要的朋友可以参考下
    2023-09-09
  • Python 中Operator模块的使用

    Python 中Operator模块的使用

    这篇文章主要介绍了Python 中Operator模块的使用,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2021-01-01
  • Python实现模拟登录网易邮箱的方法示例

    Python实现模拟登录网易邮箱的方法示例

    这篇文章主要介绍了Python实现模拟登录网易邮箱的方法,结合实例形式分析了Python基于urllib2及cookielib模块的http请求、数据传输及交互相关操作技巧,需要的朋友可以参考下
    2018-07-07
  • python实现音乐播放器 python实现花框音乐盒子

    python实现音乐播放器 python实现花框音乐盒子

    这篇文章主要为大家详细介绍了python实现音乐播放器,实现花框音乐盒子,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02
  • Python编程新手必知的十个避免代码陷阱秘诀

    Python编程新手必知的十个避免代码陷阱秘诀

    Python是一门易学且功能强大的编程语言,但在编写代码时,仍然有一些常见的陷阱和错误可能会让开发人员困惑,为大家介绍一些Python的基础防坑小常识,帮助你避免一些常见的错误,提高代码的质量和可维护性
    2024-01-01
  • python+selenium对table表和分页处理

    python+selenium对table表和分页处理

    这篇文章主要介绍了python+selenium对table表和分页处理,文章内容只要包括bulabula2022、table表分页处理、网页table所有内容循环处理等相关内容,需要的小伙伴可以参考一下
    2022-01-01

最新评论