脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python中logging模块误用导致的内存

解决Python中由于logging模块误用导致的内存泄露

 更新时间：2015年04月23日 17:01:47   作者：C Wong  
这篇文章主要介绍了解决Python中由于logging模块误用导致的内存泄露,针对由于过多的UDP连接所产生的问题,需要的朋友可以参考下

首先介绍下怎么发现的吧, 线上的项目日志是通过 logging 模块打到 syslog 里, 跑了一段时间后发现 syslog 的 UDP 连接超过了 8W, 没错是 8 W. 主要是 logging 模块用的不对

我们之前有这么一个需求, 就是针对每一个连接日志输出当前连接的信息, 所以每一个 连接就创建了一个日志实例, 并分配一个 Formatter, 创建日志实例为了区分其他连接 所以我就简单粗暴的用了当前对象的 id 来作为日志名称:

import logging


class Connection(object):
  def __init__(self):
    self._logger_name = "Connection.{}".format(id(self))
    self.logger = logging.getLogger(self._logger_name)

当然测试环境是开 DEBUG, 开 DEBUG 就不会往 syslog 里打, 所以不会出现 UDP 连接数 过多, 也就不会知道有内存泄露的, 我们来看看这样为什么会导致内存泄露, 首先看看 getLogger 的代码:

def getLogger(name=None):
  """
  Return a logger with the specified name, creating it if necessary.

  If no name is specified, return the root logger.
  """
  if name:
    return Logger.manager.getLogger(name)
  else:
    return root

主要调用了 Logger.manager.getLogger, 这个函数有下面一段代码片段

      if name in self.loggerDict:
        rv = self.loggerDict[name]
        if isinstance(rv, PlaceHolder):
          ph = rv
          rv = (self.loggerClass or _loggerClass)(name)
          rv.manager = self
          self.loggerDict[name] = rv
          self._fixupChildren(ph, rv)
          self._fixupParents(rv)
      else:
        rv = (self.loggerClass or _loggerClass)(name)
        rv.manager = self
        self.loggerDict[name] = rv
        self._fixupParents(rv)

logging 模块为了保证同一个名称引用同一个日志实例,所以就把所有的日志实例全部存 在了一个 loggerDict 的字典里, 所以除非程序退出, 创建的日志实例引用是不会释放的, 所以日志实例里的 handlers 也不会释放. 之前我又用的对象的 id 来作为日志名称 的一部分, 所以 SyslogHandler 创建的 UDP 连接就一直被占用导致了过多的 UDP 连接.

为了解决这个问题我在连接关闭的时候加入了如下代码:

logging.Logger.manager.loggerDict.pop(self._logger_name)
self.logger.manager = None
self.logger.handlers = []

按说只加上上面第一行的代码就应该释放了, 但是没有, 所以又有了第三行代码, SyslogHandler 才最终释放, 这个问题暂时还不知道为什么, 还需要再查查.

2015-03-30 更新 如果日志名称是以 . 分隔, logging 模块则会将最后一部分作为日志名, 并往上去寻找 父 Logger, 如果找不到则创建 PlaceHolder 对象作为父, 并引用 Logger.

比如创建的 Logger 名称为 a.b.c, 那么实际的名称则为 c, 并将 b 作为 c 的父, a 作为 b 的 父, 如果没有该名称的 Logger 则创建 PlaceHolder 对象作为代替, PlaceHolder 会创建对当前 Logger 的引用. 所以需要被回收的日志对象名称里不应包含 .

您可能感兴趣的文章:

相关文章

  • 使用Python压缩和解压缩zip文件的教程

    使用Python压缩和解压缩zip文件的教程

    这篇文章主要介绍了使用Python压缩和解压缩zip文件的教程,主要用到了zipfile包,需要的朋友可以参考下
    2015-05-05
  • Python FastAPI 多参数传递的示例详解

    Python FastAPI 多参数传递的示例详解

    这篇文章主要介绍了Python FastAPI 多参数传递,FastAPI通过模板来匹配URL中的参数列表，大概分为三类方式传递参数，每种方式结合示例代码给大家介绍的非常详细，需要的朋友可以参考下
    2022-12-12
  • 使用python播放音频的示例代码

    使用python播放音频的示例代码

    在Python中,我们可以使用多种库来播放音频文件,其中最常用的是pygame库和playsound库,本文给大家分享使用这些库的示例,对python播放音频示例代码感兴趣的朋友一起看看吧
    2024-02-02
  • Python pip通过requirements.txt 文件安装依赖

    Python pip通过requirements.txt 文件安装依赖

    requirements.txt是定义项目依赖的python包,可通过工具生成,本文主要介绍了Python pip通过requirements.txt文件安装依赖,具有一定的参考价值,感兴趣的可以了解一下
    2024-03-03
  • Python标准库datetime date模块的详细介绍

    Python标准库datetime date模块的详细介绍

    这篇文章主要介绍了Python标准库datetime date模块的详细介绍，datetime是Python提供的操作日期和时间的标准库，主要有datetime.date模块、datetime.time模块及datetime.datetime模块
    2022-07-07
  • python argparse模块通过后台传递参数实例

    python argparse模块通过后台传递参数实例

    这篇文章主要介绍了python argparse模块通过后台传递参数实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • jmeter执行python脚本的实现示例

    jmeter执行python脚本的实现示例

    本文主要介绍了jmeter执行python脚本的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-05-05
  • Python 删除文件每一行的行号思路解读

    Python 删除文件每一行的行号思路解读

    有时候我们需要删除代码中的行号，比如在把代码复制到记事本中的时候，前边的行号不删除就没办法运行，我们要手动删掉代码段前的行号，才能运行代码。如果有几百行，就非常累，非常不爽，所以这种事还是要交给计算机去做
    2021-11-11
  • Python 实现网课实时监控自动签到、打卡功能

    Python 实现网课实时监控自动签到、打卡功能

    这篇文章主要介绍了Python实现网课实时监控自动签到，打卡功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03
  • python 实现两个变量值进行交换的n种操作

    python 实现两个变量值进行交换的n种操作

    这篇文章主要介绍了python 实现两个变量值进行交换的n种操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-06-06

最新评论