使用memory_profiler监测python代码运行时内存消耗方法

 更新时间:2018年12月03日 10:15:53   作者:clovermini  
今天小编就为大家分享一篇使用memory_profiler监测python代码运行时内存消耗方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

前几天一直在寻找能够输出python函数运行时最大内存消耗的方式,看了一堆的博客和知乎,也尝试了很多方法,最后选择使用memory_profiler中的mprof功能来进行测量的,它的原理是在代码运行过程中每0.1S统计一次内存,并生成统计图。

具体的使用方式如下:

首先安装memory_profiler和psutil(psutil主要用于提高memory_profile的性能,建议安装)(可使用pip直接安装)

pip install memory_profiler 
pip install psutil

具体运行方式为如下:(在待检测代码所在目录中打开命令行运行如下代码)

mprof run test.py

结果会生成一个.dat文件,如”mprofile_20160716170529.dat”,里面记录了内存随时间的变化

mprof plot

使用该命令以图片的形式展示出来

如果在运行的时候出现如下的gbk解码错误,解决方案是首先进入 memory_profiler.py文件中,找到第1131行,

把with open(filename) as f: 更改成 with open(filename, encoding='utf-8') as f:!!!

UnicodeDecodeError: ‘gbk' codec can't decode byte 0xad in position 337: illegal multibyte sequence

memory_profiler监测python代码运行时内存消耗

memory_profiler监测python代码运行时内存消耗

值得注意的是,尽管网上大部分都说在待检测的函数之前加上@profile修饰器,但是不知道为何我在anaconda python3.6的环境里始终加不上这个修饰器,强行加上就报错,没加上也没问题。

相关文章

  • python plotly画柱状图代码实例

    python plotly画柱状图代码实例

    这篇文章主要介绍了python plotly画柱状图代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法

    pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法

    今天小编就为大家分享一篇pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • 详解解Django 多对多表关系的三种创建方式

    详解解Django 多对多表关系的三种创建方式

    本文主要介绍了详解解Django 多对多表关系的三种创建方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-08-08
  • Python使用itchat模块实现简单的微信控制电脑功能示例

    Python使用itchat模块实现简单的微信控制电脑功能示例

    这篇文章主要介绍了Python使用itchat模块实现简单的微信控制电脑功能,结合实例形式分析了Python基于itchat模块控制电脑实现运行程序、截图等相关操作技巧,需要的朋友可以参考下
    2019-08-08
  • PyQt5实现多张图片显示并滚动

    PyQt5实现多张图片显示并滚动

    最近要做个网页图片批量下载工具,然后需要一个页面显示网页上的所有图片供用户勾选,再根据勾选的内容来下载指定图片,其中就涉及到要到同时显示多张图片,本文就来介绍一下
    2021-06-06
  • Python利用pandas处理Excel数据的应用详解

    Python利用pandas处理Excel数据的应用详解

    这篇文章主要介绍了Python利用pandas处理Excel数据的应用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • python用什么编辑器进行项目开发

    python用什么编辑器进行项目开发

    在本篇文章里小编给大家整理的是一篇关于python开发用的编辑器详细介绍,有需要的朋友们可以参考下哎。
    2020-06-06
  • python属于跨平台语言码

    python属于跨平台语言码

    在本篇文章里小编给大家整理的是关于python是否跨平台的相关知识点文章,有兴趣的朋友们可以参考下。
    2020-06-06
  • Win10下python 2.7.13 安装配置方法图文教程

    Win10下python 2.7.13 安装配置方法图文教程

    这篇文章主要为大家详细介绍了Win10下python 2.7.13 安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • Python中subplots_adjust函数的用法

    Python中subplots_adjust函数的用法

    这篇文章主要介绍了Python中subplots_adjust函数的用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08

最新评论