Python Multiprocessing多进程 使用tqdm显示进度条的实现
更新时间：2019年08月13日 14:19:43 作者：SiyuanChen
这篇文章主要介绍了Python Multiprocessing多进程 使用tqdm显示进度条的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1.背景
在python运行一些，计算复杂度比较高的函数时，服务器端单核CPU的情况比较耗时，因此需要多CPU使用多进程加快速度
2.函数要求
笔者使用的是：pathos.multiprocessing 库，进度条显示用tqdm库，安装方法：
pip install pathos
安装完成后
from pathos.multiprocessing import ProcessingPool as Pool from tqdm import tqdm
这边使用pathos的原因是因为，multiprocessing 库中的Pool 函数只支持单参数输入，例如 f(x) = x**2，而不能处理 f (x,y) = x+y 这类的函数
更不用说一些需要参数的函数 例如：F(x , alpha=0.5, gamma = 0.1) 这样。
3.代码
定义一个 函数 F [ X ] ,其中，输入X是可以在第一个维度上迭代的array, 大小：[ num_X, len ] , 在第一维度 num_X 上进行迭代。
def F(X,lamda=10,weight=0.05):
res={}
res.update(F_1(X,lamda=lamda,weight=weight))
res.update(F_2(X,lamda=lamda,weight=weight))
return res
x 是 F 的输出，是一个dict (字典格式)
这里的两个函数超参数 lamda 和 weight 虽然每次调用的时候值是一样的，但是还是需要放一个数组每次用于迭代。
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
X[i,:] = [x[key] for key in x.keys()]
Y[i,] = 0
t.update()
pool.close()
pool.join()
4.结果
mutiprocess 加速前
mutiprocess 加速后
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要给大家介绍了关于Python中特殊方法以及应用的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
enumerate函数用于遍历序列中的元素以及它们的下标。下面通过本文给大家分享python遍历序列enumerate函数浅析，需要的朋友参考下吧2017-10-10
不知道大家会不会遇到这样的情况，自己辛辛苦苦整理的攻略，分享给自己的一些朋友，结果分享有人堂而皇之地拿着这份攻略图片去引流，并声称是自己整理的，真是岂有此理！本文就来用Python实现为图片上版权，需要的可以参考一下2023-01-01
这篇文章主要介绍了Pycharm IDE的安装和使用,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-04-04
本篇文章主要介绍了python中Matplotlib实现绘制3D图的示例代码，具有一定的参考价值，有兴趣的可以了解一下2017-09-09
这篇文章主要介绍了python matplotlib库的基本使用，帮助大家绘制图表，进行数据可视化分析，感兴趣的朋友可以了解下2020-09-09
这篇文章主要介绍了python中celery的基本使用详情，Celery 是由Python 编写的简单，灵活，可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。Celery 专注于实时任务处理，支持任务调度2022-09-09
这篇文章主要介绍了屏蔽Django admin界面添加按钮的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
这篇文章主要介绍了图解python全局变量与局部变量相关知识,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
python判断单向链表是否包括环，若包含则计算环入口的节点实例分析
这篇文章主要介绍了python判断单向链表是否包括环，若包含则计算环入口的节点,结合实例形式分析了Python针对单向链表的遍历、判断相关算法原理与使用技巧,需要的朋友可以参考下2019-10-10
最新评论