Python基于进程池实现多进程过程解析
更新时间：2020年04月30日 11:32:22 作者：杰鑫哥
这篇文章主要介绍了Python基于进程池实现多进程过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、注意：pool必须在 if __name__ == '__main__' 下面运行，不然会报错
2、多进程内出现错误会直接跳过该进程，并且默认不会打印错误信息
3、if__name__下面的数据需要通过参数传入主函数里面，不然主函数获取不到该数据值而报错。
4、若不通过传参形式传入数据，可以定义全局变量。但是全局变量的值不能在多进程里面进行修改。
代码如下
from multiprocessing import Pool # 进程池，用于多进程
import os # 用于获取当前执行的文件名
import time
import traceback # 用于捕获异常
import sys # 用于捕获异常
def main_func(i): # 多进程运行的函数
try: # 多进程中发生异常是不会打印错误信息，并且当前进程会直接跳过，所以异常需要自行捕获
rand_time = random.randint(1, 3) # 随机产生1~3的整数
time.sleep(rand_time )
print(i)
except:
current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 获取当前文件名称
cur_err_filname = current_filename + '_error.txt'
error_info = sys.exc_info() # 打印异常
with open(f'{cur_err_filname }', 'a') as f:
error_str = f'{i}:ERROR OCCURRED，{time.strftime("%Y-%m-%d %H:%M:%S")}：\n {error_info[0]}: {error_info[1]}' # 记录当前进程特征值，错误发生时间 ，错误类型，错误概述
print(error_str, file=f) # 通过打印方式写入文件
traceback.print_tb(error_info[2], file=f) # 错误细节描述（包括bug的代码位置）
f.write(f"{'=' * 50}\n") # 分行
if __name__ == '__main__': # 必须在此语句下面运行，不然会报错
pool = Pool(5) # 定义进程数量
for i in range(20):
pool.apply_async(main_func, (i, )) # 调用函数执行多进程
pool.close() # 关闭进程池
pool.join() # 阻塞进程，此两部不能少，保证多进程正常运行
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇Python实现平行坐标图的绘制(plotly)方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
Django 权限管理(permissions)与用户组(group)详解
这篇文章主要介绍了Django 权限管理(permissions)与用户组(group)详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
Django中prefetch_related()函数优化实战指南
我们可以利用Django框架中select_related和prefetch_related函数对数据库查询优化,这篇文章主要给大家介绍了关于Django中prefetch_related()函数优化的相关资料,需要的朋友可以参考下2022-11-11
这篇文章主要介绍了Keras深度学习模型Sequential和Model详解,在Keras中有两种深度学习的模型：序列模型(Sequential)和通用模型(Model),差异在于不同的拓扑结构,,需要的朋友可以参考下2023-08-08
在Python编程中,经常需要在字符串中插入变量或占位符来构建动态的文本内容,这篇文章主要为大家介绍了一些常见占位符的使用,需要的可以了解下2024-01-01
这篇文章主要介绍了Python 实现两个矩形重合面积代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要介绍了浅谈keras使用中val_acc和acc值不同步的思考，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要为大家介绍一个Python暴力破解网站登录密码脚本(带token验证)，文中的过程讲解详细，对我们学习Python有一定的帮助，感兴趣的可以学习一下2022-02-02
本文主要介绍了python使用pyshp读写shp文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
详解python环境安装selenium和手动下载安装selenium的方法
这篇文章主要介绍了详解python环境安装selenium和手动下载安装selenium的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
最新评论