记一次python 内存泄漏问题及解决过程

更新时间：2018年11月29日 08:21:47 作者：python修行路

最近工作中慢慢开始用python协程相关的东西，所以用到了一些相关模块，如aiohttp, aiomysql, aioredis等，用的过程中也碰到的很多问题，这里整理了一次内存泄漏的问题。分享到脚本之家平台，需要的朋友参考下

内存泄漏的问题，也将是一件非常麻烦的事情了，而最近的一次代码中也碰到了这个问题，不过好在最后内存溢出不是我代码的问题，而是所用到的一个包出现了内存的问题，下面我通过一个简单的代码模拟出内存的问题，然后也会将解决的过程描述一下，希望能帮助到遇到同样问题的朋友。

一、复现问题

其实这次主要是在使用aiohttp写一个接口的时候出现的问题，其实复现出问题非常容易，我们实现一个简单的接受post请求接口的服务端，然后实现一个并发的客户端来访问这个接口，来查看内存的情况

注意：这个问题是在一个包的特定版本出现的：multidict==4.5.1,我在整理这个文章2个小时前作者已经修复了这个问题发布了4.5.2版本，已经修复了内存的问题，并且我也进行了测试验证

服务端代码：

from aiohttp import web
async def hello(request):
 return web.json_response(await request.json())
app = web.Application()
app.add_routes([web.post('/', hello)])
web.run_app(app)

客户端代码：

import asyncio
import aiohttp
async def foo(times):
 data = {'foo': 1}
 async with aiohttp.ClientSession() as session:
  for x in range(times):
   resp = await session.post('http://localhost:8080', json=data)
   if not x % 100:
    print(await resp.json())
loop = asyncio.get_event_loop()
loop.run_until_complete(foo(100000))
loop.close()

因为我的代码是在linux上跑的，或者mac上我们都可以通过htop非常方面的实时查看我们程序内存的占用情况，我们先将服务端启动，查看一下我们此时的内存情况可以看到占用的

非常少，当我们打开客户端之后，再次观察我们可以看到内存不断增长，及时我们客户端运行完毕内存也不会降低。

当客户端结束之后的内存：

如果客户端不停止的话内存会一直涨，最后的结果就是把你的系统内存吃完，然后被系统杀掉你的进程。

二、解决内存泄漏的过程

像上面的例子是一个非常简单的程序，不复杂我们也并没有做上面复杂的操作就是一个简单的接受post请求的服务端，但是如果是在实际的项目中我们可能会写非常复杂的业务逻辑，那到时候我们又如何找到是哪里导致的内存问题，当我碰到这个问题的时候，其实我和很多接触python不久的人差不多，也是不知道怎么查这种问题，各种百度各种查，也找到了好多推荐的工具，memory_profiler库，objgraph库，graphviz工具，但是都没有帮助我迅速的找到问题点在哪里，最后看到标准库中的tracemalloc,地址：https://docs.python.org/3/library/tracemalloc.html

通过这个包很快帮我找到了内存泄漏的地方

接下来按照官网的方法我将代码进行改写，来测试到底哪里的问题导致的内存泄漏，更改后的服务端代码为：

from aiohttp import web
import tracemalloc
async def hello(request):
 return web.json_response(await request.json())
async def get_info(request):
 snapshot2 = tracemalloc.take_snapshot()
 top_stats = snapshot2.compare_to(snapshot1, 'lineno')
 print(top_stats)
 return web.Response(text="ok")
if __name__ == '__main__':
 app = web.Application()
 app.add_routes(
  [
   web.post('/', hello),
   web.get("/get_info", get_info)
  ]
 )
 tracemalloc.start()
 snapshot1 = tracemalloc.take_snapshot()
 web.run_app(app)

注意print(top_stats)这行打印的结果最后要关注

其实这里就是新增加了一个路由get_info, 我们启动服务端之后开启客户端，当我们客户端运行完毕之后，可以看到内存已经涨上去了，并且没有不会释放，这个时候，可以直接通过浏览器访问get_info这个路由看看print打印的内容，这里将会打印出你程序运行到这个时候那一行的代码内存增长的比较多，进行一次排序，前面的几个其实都是需要你关注的，因为这里数据较多，我就只打印如下前几个数据

<StatisticDiff traceback=<Traceback (<Frame filename='/Users/zhaofan/anaconda3/lib/python3.6/site-packages/aiohttp/web_response.py' lineno=56>,)> size=116500672 (+116500672) count=300004 (+300004)>,
<StatisticDiff traceback=<Traceback (<Frame filename='/Users/zhaofan/anaconda3/lib/python3.6/site-packages/aiohttp/web_response.py' lineno=604>,)> size=11400000 (+11400000) count=200000 (+200000)>, 
<StatisticDiff traceback=<Traceback (<Frame filename='/Users/zhaofan/anaconda3/lib/python3.6/site-packages/aiohttp/web_response.py' lineno=472>,)> size=8000000 (+8000000) count=100000 (+100000)>, 
<StatisticDiff traceback=<Traceback (<Frame filename='/Users/zhaofan/anaconda3/lib/python3.6/site-packages/aiohttp/web_response.py' lineno=353>,)> size=5500000 (+5500000) count=100000 (+100000)>, 
<StatisticDiff traceback=<Traceback (<Frame filename='/Users/zhaofan/anaconda3/lib/python3.6/site-packages/aiohttp/web_response.py' lineno=352>,)> size=5300608 (+5300608) count=100001 (+100001)>,

我们拿第一行来说，我们可以非常清楚的指导web_response的56行代码导致内存增长的最多，当然如果是我们复杂的项目也可以通过类似的方法，这样就可以非常快捷的找到我们代码中哪些地方会造成内存溢出，便于排查问题，我们点进去看看这行代码：

我们找到最终行，这个时候我们大致就可以看出哪里的问题了，我们接着看 CIMultiDict

class CIMultiDict(MultiDict):
 def _title(self, key):
  return key.title()

我们可以看到这个它继承 MultiDict 其实这里我们已经应该知道问题就是处在这个MultiDict上了

而这个最终其实最终就是MultiDict这个包，问题出在了这个包上，这个项目是在这里维护的：https://github.com/aio-libs/multidict

查看这个包的时候看到了，果然有人和我遇到了同样的问题，问题就是出在这里了，已经有人提交了bug

https://github.com/aio-libs/multidict/issues/307

不过不得不说国外的程序员真的是热爱自己的职业，很快这个问题得到了aio-libs小组中人的回应，问题也在我整理这个博客的时候被修复了，在最新的版本：4.5.2中已经测试没有内存泄漏的问题

三、总结

在这里处理的过程中，其实发现了自己很多的不足，查找问题的方式，以及遇到这种问题的解决思路，不过经过这次，至少下次遇到同样的问题，自己能很快的去查找

以及解决问题，还有就是针对https://docs.python.org/3/library/tracemalloc.html这个库的使用，也推荐大家多了解一下。

以上所述是小编给大家介绍的记一次python 内存泄漏问题及解决过程，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持

您可能感兴趣的文章:

pandas dataframe中双中括号和单中括号的区别及说明
这篇文章主要介绍了pandas dataframe中双中括号和单中括号的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
Python监控服务器实用工具psutil使用解析
这篇文章主要介绍了Python监控服务器实用工具psutil使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
python运算符+条件结构+循环结构
这篇文章主要介绍了python运算符、条件结构、循环结构；算术运算符、赋值运算符、逻辑运算符等一些相关内容，需要的小伙伴可以参考一下，希望对你的学习有所帮助
2022-03-03
使用 django orm 写 exists 条件过滤实例
这篇文章主要介绍了使用 django orm 写 exists 条件过滤实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-05-05
Python 判断有向图是否有环的实例讲解
下面小编就为大家分享一篇Python 判断有向图是否有环的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-02-02
django输出html内容的实例
今天小编就为大家分享一篇django输出html内容的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-05-05
python 如何利用argparse解析命令行参数
这篇文章主要介绍了python 利用argparse解析命令行参数的步骤，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下
2020-09-09
python pandas最常用透视表实现应用案例
透视表是一种可以对数据动态排布并且分类汇总的表格格式,它在数据分析中有着重要的作用和地位,在本文中,我将为你介绍python中如何使用pandas包实现透视表的功能,以及一些常见的应用案例
2024-01-01
Python 异常处理Ⅳ过程图解
这篇文章主要介绍了Python 异常处理Ⅳ过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-10-10
python中argparse模块及action='store_true'详解
argparse 是一个用来解析命令行参数的 Python 库，它是 Python 标准库的一部分，这篇文章主要介绍了python中argparse模块及action=‘store_true‘详解,需要的朋友可以参考下
2023-02-02