Python多进程共享numpy 数组的方法
更新时间：2021年07月29日 14:20:00 作者：Hello_BeautifulWorld
这篇文章主要介绍了Python多进程共享numpy 数组的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
为什么要用numpy
Python中提供了list容器，可以当作数组使用。但列表中的元素可以是任何对象，因此列表中保存的是对象的指针，这样一来，为了保存一个简单的列表[1,2,3]。就需要三个指针和三个整数对象。对于数值运算来说，这种结构显然不够高效。
Python虽然也提供了array模块，但其只支持一维数组，不支持多维数组(在TensorFlow里面偏向于矩阵理解)，也没有各种运算函数。因而不适合数值运算。
NumPy的出现弥补了这些不足。
引用：https://zhuanlan.zhihu.com/p/32513483
共享 numpy 数组
需要用到 numpy 时往往是数据量较大的场景，如果直接复制会造成大量内存浪费。共享 numpy 数组则是通过上面一节的 Array 实现，再用 numpy.frombuffer 以及 reshape 对共享的内存封装成 numpy 数组，代码如下：
# encoding:utf8
import ctypes
import os
import multiprocessing
import numpy as np
NUM_PROCESS = multiprocessing.cpu_count()
def worker(index):
main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
pid = os.getpid()
main_nparray[index, :] = pid
return pid
if __name__ == "__main__":
shared_array_base = multiprocessing.Array(
ctypes.c_double, NUM_PROCESS * 10, lock=False)
pool = multiprocessing.Pool(processes=NUM_PROCESS)
result = pool.map(worker, range(NUM_PROCESS))
main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
print( main_nparray )
运行结果：
到此这篇关于Python多进程共享numpy 数组的方法的文章就介绍到这了,更多相关Python多进程共享numpy 数组内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python logging模块用法,结合实例形式分析了Python logging模块相关配置、函数、组件等操作方法与注意事项,需要的朋友可以参考下2018-08-08
下面小编就为大家分享一篇对pandas进行数据预处理的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Python表格数据处理库之tablib库详解,Tablib是一个用于处理电子表格数据的Python库，它可以轻松地进行数据的导入和导出，以及数据格式的转换,需要的朋友可以参考下2023-08-08
Python如何将图像音视频等资源文件隐藏在代码中(小技巧)
有朋友问小编使用pyinstaller打包源码时，因为代码中使用了图像、音频、视频等资源文件，无法将程序打包成单一的可执行文件，怎么处理呢，下面小编通过代码给大家介绍Python如何将图像音视频等资源文件隐藏在代码中，感兴趣的朋友一起看看吧2020-02-02
这篇文章主要为大家详细介绍了TensorFlow搭建神经网络最佳实践，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
python闭包、深浅拷贝、垃圾回收、with语句知识点汇总
在本篇文章里小编给大家整理了关于python闭包、深浅拷贝、垃圾回收、with语句知识点汇总，有兴趣的朋友们学习下。2020-03-03
通过Python中的http.server搭建文件上传下载服务功能
通过本文我们学习了如何使用Python的http.server模块搭建一个基本的HTTP服务器,并实现文件下载服务,介绍了如何设置服务器端口、自定义文件目录、定制HTTP响应头以及处理GET请求,感兴趣的朋友跟随小编一起看看吧2024-08-08
这篇文章主要介绍了Python使用pylab库实现绘制直方图功能,结合实例形式分析了Python数据读取、遍历以及基于pylab库绘制直方图的相关操作技巧,需要的朋友可以参考下2018-06-06
基于opencv和pillow实现人脸识别系统(附demo)
人脸识别就是一个程序能识别给定图像或视频中的人脸，本文主要介绍了opencv和pillow实现人脸识别系统，本文不涉及分类器、训练识别器等算法原理，感兴趣的可以了解一下2021-11-11
python利用xpath爬取网上数据并存储到django模型中
这篇文章主要介绍了python利用xpath爬取网上数据并存储到django模型中,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
最新评论