python多进程中的内存复制(实例讲解)
更新时间：2018年01月05日 14:40:50 作者：pushiqiang
下面小编就为大家分享一篇python多进程中的内存复制(实例讲解)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
比较好奇python对于多进程中copy on write机制的实际使用情况。目前从实验结果来看，python 使用multiprocessing来创建多进程时，无论数据是否不会被更改，子进程都会复制父进程的状态(内存空间数据等)。所以如果主进程耗的资源较多时，不小心就会造成不必要的大量的内存复制，从而可能导致内存爆满的情况。
示例
举个例子，假设主进程读取了一个大文件对象的所有行，然后通过multiprocessing创建工作进程，并循环地将每一行数据交给工作进程来处理：
def parse_lines(args): #working ... def main_logic(): f = open(filename , 'r') lines = f.readlines() f.close() pool = multiprocessing.Pool(processes==4) rel = pool.map(parse_lines , itertools.izip(lines , itertools.repeat(second_args)) , int(len(lines)/4)) pool.close() pool.join()
以下是top及ps结果：
(四个子进程)
(父进程及四个子进程)
由上两张图可以看出父进程及子进程都各自占用了1.4G左右的内存空间。而大部分内存空间存储的是读数据lines，所以这样的内存开销太浪费。
优化计划
1: 在主进程初期未导入大量的py库之前创建进程，或者动态加载py库。
2:通过内存共享来减少内存的开销。
3: 主进程不再读取文件对象，交给每个工作进程去读取文件中的相应部分。
改进代码：
def line_count(file_name): count = -1 #让空文件的行号显示0 for count,line in enumerate(open(file_name)): pass #enumerate格式化成了元组,count就是行号,因为从0开始要+1 return count+1 def parse_lines(args): f = open(args[0] , 'r') lines = f.readlines()[args[1]:args[2]] #read some lines f.close() #working def main_logic(filename,process_num): line_count = line_count(filename) avg_len = int(line_count/process_num) left_cnt = line_count%process_num; pool = multiprocessing.Pool(processes=process_num) for i in xrange(0,process_num): ext_cnt = (i>=process_num-1 and [left_cnt] or [0])[0] st_line = i*avg_len pool.apply_async(parse_lines, ((filename, st_line, st_line+avg_len+ext_cnt),)) #指定进程读某几行数据 pool.close() pool.join()
再次用top或者ps来查看进程的内存使用情况：
(四个子进程)
(父进程及四个子进程)
小结
对比两次的内存使用情况，改进代码后父进程及子进程所占用的内存明显减少；所有内存占用相当于原来的一半，这就是减少内存复制的效果。
关于内存使用这方面还有不少优化方法和空间，稍后继续研究。
以上这篇python多进程中的内存复制(实例讲解)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python matplotlib绘图时指定图像大小及放大图像详解
Matplotlib是一个面向对象的绘图库,我们绘制的图像中,每条曲线,每个边框等等都对应一个对象,下面这篇文章主要给大家介绍了关于Python matplotlib绘图时指定图像大小及放大图像的相关资料,需要的朋友可以参考下2022-05-05
pip 就是 Python 标准库（The Python Standard Library）中的一个包，只是这个包比较特殊，用它可以来管理 Python 标准库（The Python Standard Library）中其他的包。本文为大家介绍了pip安装第三方库的方法，需要的可以参考一下2022-11-11
这篇文章主要为大家介绍了Python列表常用的一些函数的使用详解，并通过一些简单的案例让大家更快的理解，感兴趣的可以跟随小编一起学习一下2021-12-12
用的配置文件格式有ini、json、yaml等，下面简单给大家介绍下，Python如何读写这几种格式的文件，对Python读写ini、json、yaml配置文件相关知识感兴趣的朋友一起看看吧2021-07-07
这篇文章主要介绍了python乱序字符串排序的实现方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了python中关于CIFAR10数据集的使用方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
使用Python中tkinter库简单gui界面制作及打包成exe的操作方法（二）
这篇文章主要介绍了使用Python中tkinter库简单gui界面制作及打包成exe的操作方法（二）,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-10-10
这篇文章主要介绍了通过实例解析python创建进程常用方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
线程（Threads）是操作系统提供的一种轻量级的执行单元,可以在一个进程内并发执行多个任务,每个线程都有自己的执行上下文,包括栈、寄存器和程序计数器,本文给大家介绍了Python使用thread模块实现多线程的操作,需要的朋友可以参考下2024-10-10
这篇文章主要介绍了python文件操作之目录遍历的方法,以实例形式较为详细的分析了目录遍历所需要用到的相关函数与使用技巧,需要的朋友可以参考下2015-05-05
最新评论