python使用 multiprocessing 多进程处理批量数据的示例代码
更新时间：2023年09月11日 11:20:04 作者：DexterLien
这篇文章主要介绍了使用 multiprocessing 多进程处理批量数据的示例代码,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
示例代码
import multiprocessing
def process_data(data):
# 这里是处理单个数据的过程
return data * 2
# 待处理的数据
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通处理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多进程处理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 创建进程池, 传入的参数是要要使用的 CPU 内核数量, 直接用 cpu_count() 可以拿到当前硬件配置所有的 CPU 内核数.
pool.map 可以直接将处理后的结果拼接成一个 list 对象
应用在实际数据处理代码的效果对比:
普通处理方式, 用时 221 秒
多进程处理方式, 用时 39 秒, 节省了 82% 的时间
到此这篇关于使用 multiprocessing 多进程处理批量数据的文章就介绍到这了,更多相关 multiprocessing 多进程处理批量数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Anaconda和ipython环境适配的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了Python 数据可视化神器Pyecharts绘制图像练习，绘制的图形有柱状图、饼状图、箱型图、折线图、雷达图等多种图像，需要的小伙伴可以参考一下2022-02-02
这篇文章主要介绍了Python数据可视化常用4大绘图库原理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-10-10
这篇文章主要介绍了如何使用 Python 读取文件和照片的创建日期,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-09-09
这篇文章主要介绍了Python实现对Excel表格的操作,在数据处理和报告生成等工作中,Excel表格是一种常见且广泛使用的工具,使用Python来处理Excel表格能够大大的提升效率,感兴趣的同学可以参考下2024-02-02
这篇文章主要为大家详细介绍了微信跳一跳小程序Python脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
图片有的时候需要矫正，本文主要介绍了python中opencv实现图片文本倾斜校正，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
这篇文章主要介绍了Python实用工具FuckIt.py介绍,FuckIt.py 使用了最先进的技术能够使你的代码不管里面有什么样的错误，你只管 FuckIt，程序就能“正常”执行，兵来将挡水来土掩,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了Python连接MySQL数据库方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-04-04
Python使用PyQt5/PySide2编写一个极简的音乐播放器功能
这篇文章主要介绍了Python中使用PyQt5/PySide2编写一个极简的音乐播放器功能，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2020-02-02
最新评论