python项目运行导致内存越来越大的原因详析
更新时间：2022年11月25日 10:37:08 作者：成都—大数据开发工程师—杨洋
最近在跑python程序时,出现占用的内存不断增加的情况,下面这篇文章主要给大家介绍了关于python项目运行导致内存越来越大的原因详析,本文通过图文介绍的非常详细,需要的朋友可以参考下
问题描述：
目前遇到的问题是这样的，爬虫程序部署到K8S服务器上运行，但是会过几个小时之后，程序就会被主动杀掉重启，原因是因为内存过载，超过K8S设置的4G。
程序运行现象分析：
在线下进行程序测试时，未让程序长时间运行（及4-5个小时），程序无异常则直接上测试环境测试，然后部署上线了运行了。
通过线下观察，确实程序使用内存会因为时间而不断增加
增长的速度虽然不是很快，但却是在稳定增加，说明程序中存在内存使用未被释放。
尝试解决：
根据上网提供的方案，
import gc
gc.collect()
无效，该增加还是在增加，说明不是全局的内存使用未被释放，内存回收正常。
通过断点调试，发现，程序在使用代理的时候，内存才会增加
程序每次运行时会去获取一个代理赋值到session的proxies中，程序使用的是多线程，则单位时间内会有大量的代理信息会赋值到session中。
通过注释掉获取代理的这一步，发现确实内存不在继续增加。
原因分析：
Session对象存储特定用户会话所需的属性及配置信息，，存储在Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。所以随着时间的推移，session中记录的proxies信息就会越来越多，最终导致内存使用过大，程序被杀。
解决方法：
不使用session进行请求，使用原生requests.get即可。
总结
到此这篇关于python项目运行导致内存越来越大的原因详析的文章就介绍到这了,更多相关python项目运行内存越来越大内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
在本篇内容里我们给大家整理了一篇关于Python将字符串常量转化为变量方法的知识点总结，有需要的朋友们学习下。2019-03-03
本文介绍了Python中的上下文管理器，以及如何结合with语句来使用上下文管理器，并且总结了一下with 语句的执行流程。在很多情况下，with语句可以简化代码，并增加代码的健壮性。2017-10-10
这篇文章主要介绍了Python sys模块常用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
小编在使用opencv读取带有中文路径的图片时,发现会出现乱码的情况,当读取的文件路径出现中文时,（文件夹名为中文或者文件为中文）出现错误,所以本文给大家介绍了Python读取中文路径出现乱码问题的解决方案,需要的朋友可以参考下2024-06-06
本文主要介绍了python 获取图片中文字的几种办法，主要使用光学字符识别（OCR）技术，本文主要介绍了4种第三方库，具有一定的参考价值，感兴趣的可以了解一下2023-11-11
这篇文章主要为大家详细介绍了Python3进程和线程，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-03-03
这篇文章主要介绍了Python 包含汉字的文件读写之每行末尾加上特定字符的相关资料,需非常不错，具有参考借鉴价值，要的朋友可以参考下2016-12-12
这篇文章主要介绍了jupyter notebook 的工作空间设置操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要介绍了sklearn的predict_proba使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
本篇文章主要介绍了python爬虫之xpath的基本使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-04-04
最新评论