python内存管理分析

 更新时间:2015年04月08日 11:12:43   作者:huaweitman  
这篇文章主要介绍了python内存管理,较为详细的分析了Python的内存管理机制,需要的朋友可以参考下

本文较为详细的分析了python内存管理机制。分享给大家供大家参考。具体分析如下:

内存管理,对于Python这样的动态语言,是至关重要的一部分,它在很大程度上甚至决定了Python的执行效率,因为在Python的运行中,会创建和销毁大量的对象,这些都涉及到内存的管理。

小块空间的内存池

在Python中,许多时候申请的内存都是小块的内存,这些小块内存在申请后,很快又会被释放,由于这些内存的申请并不是为了创建对象,所以并没有对象一级的内存池机制。

Python内存池全景

这就意味着Python在运行期间会大量地执行malloc和free的操作,频繁地在用户态和核心态之间进行切换,这将严重影响Python的执行效率。为了加速Python的执行效率,Python引入了一个内存池机制,用于管理对小块内存的申请和释放。这也就是之前提到的Pymalloc机制。

在Python 2.5中,Python内部默认的小块内存与大块内存的分界点定在256个字节,这个分界点由前面我们看到的名为SMALL_REQUEST_THRESHOLD的符号控制。

也就是说,当申请的内存小于256字节时,PyObject_Malloc会在内存池中申请内存;当申请的内存大于256字节时,PyObject_Malloc的行为将蜕化为malloc的行为。当然,通过修改Python源代码,我们可以改变这个默认值,从而改变Python的默认内存管理行为。

在一个对象的引用计数减为0时,与该对象对应的析构函数就会被调用。

但是要特别注意的是,调用析构函数并不意味着最终一定会调用free释放内存空间,如果真是这样的话,那频繁地申请、释放内存空间会使 Python的执行效率大打折扣(更何况Python已经多年背负了人们对其执行效率的不满)。一般来说,Python中大量采用了内存对象池的技术,使用这种技术可以避免频繁地申请和释放内存空间。因此在析构时,通常都是将对象占用的空间归还到内存池中。

"这个问题就是:Python的arena从来不释放pool。这个问题为什么会引起类似于内存泄漏的现象呢。考虑这样一种情形,申请10*1024*1024个16字节的小内存,这就意味着必须使用160M的内存,由于Python没有默认将前面提到的限制内存池的WITH_MEMORY_LIMITS编译符号打开,所以Python会完全使用arena来满足你的需求,这都没有问题,关键的问题在于过了一段时间,你将所有这些16字节的内存都释放了,这些内存都回到arena的控制中,似乎没有问题。

但是问题恰恰就在这时出现了。因为arena始终不会释放它维护的pool集合,所以这160M的内存始终被Python占用,如果以后程序运行中再也不需要160M如此巨大的内存,这点内存岂不是就浪费了?"

Python内存管理规则:del的时候,把list的元素释放掉,把管理元素的大对象回收到py对象缓冲池里。

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • python批量制作雷达图的实现方法

    python批量制作雷达图的实现方法

    本文通过实例代码介绍了如何用python批量制作雷达图的实现方法,下面一起来看看如何实现的。
    2016-07-07
  • python利用Excel读取和存储测试数据完成接口自动化教程

    python利用Excel读取和存储测试数据完成接口自动化教程

    这篇文章主要介绍了python利用Excel读取和存储测试数据完成接口自动化教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • Opencv简单图像操作方法实战

    Opencv简单图像操作方法实战

    OpenCV是一个开源的计算机视觉库,它提供了一系列丰富的图像处理和计算机视觉算法,这篇文章主要给大家介绍了关于Opencv简单图像操作方法的相关资料,需要的朋友可以参考下
    2024-02-02
  • django反向解析和正向解析的方式

    django反向解析和正向解析的方式

    这篇文章主要介绍了django反向解析和正向解析的方式,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-06-06
  • python字符串操作

    python字符串操作

    这篇文章主要介绍了python字符串操作,主要包括字符串的分割、字符串的查找,替换、字符串的判断,下面一起进入文章了解具体内容,需要的朋友可以参考一下
    2021-11-11
  • Python如何导出导入所有依赖包详解

    Python如何导出导入所有依赖包详解

    在Python中我们在项目中会用到各种库,自带的自然不必再说,这篇文章主要给大家介绍了关于Python如何导出导入所有依赖包的相关资料,需要的朋友可以参考下
    2021-06-06
  • Python TCP全连接攻击中SockStress全连接攻击详解

    Python TCP全连接攻击中SockStress全连接攻击详解

    Sock Stress 全连接攻击属于TCP全连接攻击,因为需要建立一次完整的TCP三次握手,该攻击的关键点就在于,攻击主机将windows窗口缓冲设置为0,实现的拒绝服务
    2022-10-10
  • 提升Python编码能力的3个重要概念

    提升Python编码能力的3个重要概念

    这篇文章主要给大家分享的是提升Python编码能力的3个重要概念,围绕提升Python编码的相关自资料上下文管理器、类型提示、浅拷贝和深拷贝等内容展开文章,需要的小伙伴可以参考一下
    2022-02-02
  • Python使用wxPython和PyMuPDF提取PDF页面指定页数的内容

    Python使用wxPython和PyMuPDF提取PDF页面指定页数的内容

    在本篇博客中,我们将探讨如何使用wxPython和PyMuPDF库创建一个简单的Bokeh应用程序,用于选择PDF文件并提取指定页面的内容,并将提取的内容显示在文本框中,需要的朋友可以参考下
    2023-08-08
  • 基于python内置函数与匿名函数详解

    基于python内置函数与匿名函数详解

    下面小编就为大家分享一篇基于python内置函数与匿名函数详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-01-01

最新评论