python使用 multiprocessing 多进程处理批量数据的示例代码
更新时间：2023年09月11日 11:20:04 作者：DexterLien
这篇文章主要介绍了使用 multiprocessing 多进程处理批量数据的示例代码,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
示例代码
import multiprocessing
def process_data(data):
# 这里是处理单个数据的过程
return data * 2
# 待处理的数据
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通处理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多进程处理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 创建进程池, 传入的参数是要要使用的 CPU 内核数量, 直接用 cpu_count() 可以拿到当前硬件配置所有的 CPU 内核数.
pool.map 可以直接将处理后的结果拼接成一个 list 对象
应用在实际数据处理代码的效果对比:
普通处理方式, 用时 221 秒
多进程处理方式, 用时 39 秒, 节省了 82% 的时间
到此这篇关于使用 multiprocessing 多进程处理批量数据的文章就介绍到这了,更多相关 multiprocessing 多进程处理批量数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了2021年的Python 时间轴和即将推出的功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-07-07
这篇文章主要介绍了python 进程 进程池 进程间通信实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
本文详细介绍了Playwright的常用操作方法，包括获取页面元素、点击按钮和链接等。这些方法可以帮助开发者更加高效地进行自动化测试和爬虫开发,需要的可以参考一下2023-05-05
本文通过实例代码给大家介绍了python3 写一个WAV音频文件播放器,代码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2019-09-09
使用Python对mongo数据库中字符串型正负数值比较大小
这篇文章主要介绍了使用Python对mongo数据库中字符串型正负数值比较大小,2023-04-04
在本篇文章里小编给大家整理了一篇关于python数据类型与标识符和判断语句的介绍，有需要的朋友们可以学习下，希望能够给你带来帮助2021-09-09
这篇文章主要为大家详细介绍了Python的 键盘事件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-11-11
tensorflow实现打印ckpt模型保存下的变量名称及变量值
今天小编就为大家分享一篇tensorflow实现打印ckpt模型保存下的变量名称及变量值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
下面小编就为大家分享一篇关于python读取文件名及后缀的文章，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-10-10
在使用Pandas的Python中,DataFrame列中的值可以通过使用各种内置函数根据条件进行替换,本文主要来和大家讨论在Pandas中用条件替换数据集列中的值的各种方法,希望对大家有所帮助2024-01-01
最新评论