利用Python如何实时检测自身内存占用
前言
最近在做文本统计，用 Python 实现，遇到了一个比较有意思的难题——如何保存统计结果。
直接写入内存实在是放不下，十几个小时后内存耗尽，程序被迫关闭。如果直接写入数据库吧，每次写入又太慢了，本来就十几个小时了，这样下去就要往星期上数了，也不是个办法。
解决方案
最后，我想到了一个两者兼顾的方案——用内存做缓冲，达到一定量之后一次性将当前所有数据合并到硬盘里。
但这样就有一个阈值，如何确定同步硬盘的时机，通常可以按照文件粒度进行处理，比如处理一个语料文件同步一次……但我的语料有大有小，大的有10GB，根本等不到那一刻内存就爆炸了，后来我想用统计数据量进行判断……可这又有点难以估计，小了吧频繁写入，缓存的意义就不大了，大了吧还没等到条目数量达到，内存就已经爆满。另外考虑到将来程序会运行在不同配置的设备上，让其他开发者根据自身情况计算这个阈值也有点太不友好，于是我想到了一个办法——不如让 Python 自己检测自己的内存占用，如果快满了（或者达到阈值），就同步写入硬盘一次。
对于其他开发者来说，自身设备的内存多大是很容易查看的，根据系统运行状况设置一个合理的阈值，相当方便。
要用 Python 监控自身内存占用，要使用 psutil 这个库来和系统进行交互，基本逻辑就是先拿到自己的 pid ，然后根据这个 pid 去跟系统获取进程信息。
def get_current_memory_gb() -> int: # 获取当前进程内存占用。 pid = os.getpid() p = psutil.Process(pid) info = p.memory_full_info() return info.uss / 1024. / 1024. / 1024.
比如我系统是 32GB 内存，那么我设置个 20GB 就相当安全，用 Python 进行统计语料，数据多到进程占用 20GB 内存了，就把当前的数据写入硬盘，同步统计数据，然后清空程序里的字典缓存释放内存。
python之psutil
psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。
Linux系统下的安装
pip install psutil
总结
到此这篇关于利用Python如何实时检测自身内存占用的文章就介绍到这了,更多相关Python实时检测自身内存占用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
一直以来，python中的中文编码就是一个极为头大的问题，经常抛出编码转换的异常，python中的str和unicode到底是一个什么东西呢？2011-03-03
这篇文章主要介绍了如何用python合并多个excel文件，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-03-03
这篇文章主要介绍了Python datetime 格式化 明天,昨天实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
合并Excel可以将多个文件中的数据合并到一个文件中,这样可以帮助我们更好地汇总和管理数据,本文主要介绍了如何使用第三方Python库 Spire.XLS for Python 实现以上两种合并Excel文件的需求,有需要的可以了解下2023-12-12
使用python+Flask实现日志在web网页实时更新显示
日志是一种可以追踪某些软件运行时所发生事件的方法,下面这篇文章主要给大家介绍了关于使用python+Flask实现日志在web网页实时更新显示的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
Python 解决空列表.append() 输出为None的问题
在本篇文章里小编给大家整理了一篇关于Python 解决空列表.append() 输出为None的问题的相关内容，有兴趣的朋友们可以学习下。2021-05-05
pandas pd.read_csv()函数中parse_dates()参数的用法说明
这篇文章主要介绍了pandas pd.read_csv()函数中parse_dates()参数的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
Python是一种简单而强大的编程语言,提供了许多功能和语法来帮助开发人员编写高效的代码,其中一个常用的功能是使用global关键字来在函数内部访问和修改全局变量,在本文中,我们将深入探讨Python中global关键字的用法,以及使用它的一些最佳实践2023-12-12
这篇文章主要介绍了Python两个整数相除得到浮点数值的方法,本文直接给出代码示例,需要的朋友可以参考下2015-03-03
Python使用keys() 获取 Redis 数据库中的所有键
哈希、列表、集合、排序集合、字符串、JSON 和流是 Redis 支持的众多数据结构之一,本文将讨论获取 Redis 数据库中的所有键,感兴趣的朋友跟随小编一起看看吧2023-08-08
最新评论