python使用 multiprocessing 多进程处理批量数据的示例代码
更新时间：2023年09月11日 11:20:04 作者：DexterLien
这篇文章主要介绍了使用 multiprocessing 多进程处理批量数据的示例代码,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
示例代码
import multiprocessing
def process_data(data):
# 这里是处理单个数据的过程
return data * 2
# 待处理的数据
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通处理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多进程处理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 创建进程池, 传入的参数是要要使用的 CPU 内核数量, 直接用 cpu_count() 可以拿到当前硬件配置所有的 CPU 内核数.
pool.map 可以直接将处理后的结果拼接成一个 list 对象
应用在实际数据处理代码的效果对比:
普通处理方式, 用时 221 秒
多进程处理方式, 用时 39 秒, 节省了 82% 的时间
到此这篇关于使用 multiprocessing 多进程处理批量数据的文章就介绍到这了,更多相关 multiprocessing 多进程处理批量数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python3操作CSV文件使用包过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
PyQt5基本控件使用之消息弹出、用户输入、文件对话框的使用方法
本文主要介绍PyQt界面实现中常用的消息弹出对话框、提供用户输入的输入框、打开文件获取文件/目录路径的文件对话框。 本文主要针对这三种控件的主要场景进行介绍。感兴趣的朋友跟随小编一起看看吧2019-08-08
在日常办公中,处理Word、Excel和PDF等Office文档是再常见不过的任务,手动操作这些文档不仅耗时耗力,还容易出错,幸运的是,Python提供了丰富的库,使得自动化处理这些文档变得轻松高效,本文将通过通俗易懂的表达方式,带你领略Python自动化Office文档处理的魅力2025-02-02
这篇文章主要介绍了python代码xml转txt实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
keras中epoch,batch,loss,val_loss用法说明
这篇文章主要介绍了keras中epoch,batch,loss,val_loss用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
其实我们平时拍摄的照片里,隐藏了大量的信息,下面这篇文章主要给大家介绍了关于如何用python获取到照片拍摄时的详细位置,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了基于Pytorch的可视化工具,Pytorch是一款Python优先的深度学习框架,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了利用Python计算质数与完全数的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
今天小编就为大家分享一篇Python使用requests提交HTTP表单的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
本文主要介绍了Python数据库编程中pymysql，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-05-05
最新评论