Pytorch GPU内存占用很高,但是利用率很低如何解决

 更新时间:2021年06月01日 09:56:29   作者:Golden-sun  
这篇文章主要介绍了Pytorch GPU内存占用很高,但是利用率很低的原因及解决方法,具有很好的参考价值,希望对大家 有所帮助。如有错误或未考虑完全的地方,望不吝赐教

1.GPU 占用率,利用率

输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util)

GPU内存占用率(Memory-Usage) 往往是由于模型的大小以及batch size的大小,来影响这个指标 显卡的GPU利用率(GPU-util) 往往跟代码有关,有更多的io运算,cpu运算就会导致利用率变低。

比如打印loss, 输出图像,等等

在这里插入图片描述

这个时候发现,有一块卡的利用率经常跳到1%,而其他三块卡经常维持在70%以上

2.原因分析

当没有设置好CPU的线程数时,Volatile GPU-Util参数是在反复的跳动的,0%,20%,70%,95%,0%。

这样停息1-2 秒然后又重复起来。其实是GPU在等待数据从CPU传输过来,当从总线传输到GPU之后,GPU逐渐起计算来,利用率会突然升高,但是GPU的算力很强大,0.5秒就基本能处理完数据,所以利用率接下来又会降下去,等待下一个batch的传入。

因此,这个GPU利用率瓶颈在内存带宽和内存介质上以及CPU的性能上面。

最好当然就是换更好的四代或者更强大的内存条,配合更好的CPU。

3.解决方法:

(1)为了提高利用率,首先要将num_workers(线程数)设置得体,4,8,16是几个常选的几个参数。本人测试过,将num_workers设置的非常大,例如,24,32,等,其效率反而降低,因为模型需要将数据平均分配到几个子线程去进行预处理,分发等数据操作,设高了反而影响效率。当然,线程数设置为1,是单个CPU来进行数据的预处理和传输给GPU,效率也会低。其次,当你的服务器或者电脑的内存较大,性能较好的时候,建议打开pin_memory打开,就省掉了将数据从CPU传入到缓存RAM里面,再给传输到GPU上;为True时是直接映射到GPU的相关内存块上,省掉了一点数据传输时间。

(2) 另外的一个方法是,在PyTorch这个框架里面,数据加载Dataloader上做更改和优化,包括num_workers(线程数),pin_memory,会提升速度。解决好数据传输的带宽瓶颈和GPU的运算效率低的问题。在TensorFlow下面,也有这个加载数据的设置。

(3) 修改代码(我遇到的问题)

每个iteration 都写文件了,这个就会导致cpu 一直运算,GPU 等待

在这里插入图片描述

造成GPU利用率低还有其他原因

1. CPU数据读取更不上:读到内存+多线程+二进制文件(比如tf record)

2. GPU温度过高,使用功率太大:每次少用几个GPU,降低功耗(但是多卡的作用何在?)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • pandas获取对应的行或者列方式

    pandas获取对应的行或者列方式

    这篇文章主要介绍了pandas获取对应的行或者列方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • 基于python的socket实现单机五子棋到双人对战

    基于python的socket实现单机五子棋到双人对战

    这篇文章主要为大家详细介绍了基于python的socket实现单机五子棋到双人对战,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-06-06
  • Python使用稀疏矩阵节省内存实例

    Python使用稀疏矩阵节省内存实例

    这篇文章主要介绍了Python使用稀疏矩阵节省内存实例,矩阵中非零元素的个数远远小于矩阵元素的总数,并且非零元素的分布没有规律,则称该矩阵为稀疏矩阵,需要的朋友可以参考下
    2014-06-06
  • python中urllib模块用法实例详解

    python中urllib模块用法实例详解

    这篇文章主要介绍了python中urllib模块用法,以实例形式详细分析了python中urllib模块代替PHP的curl操作方法,具有不错的借鉴价值,需要的朋友可以参考下
    2014-11-11
  • Django零基础入门之自定义过滤器及模板中的使用

    Django零基础入门之自定义过滤器及模板中的使用

    这篇文章主要介绍了Django零基础入门之自定义过滤器及模板中的使用,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-09-09
  • Django配合python进行requests请求的问题及解决方法

    Django配合python进行requests请求的问题及解决方法

    Python作为目前比较流行的编程语言,他内置的Django框架就是一个很好的网络框架,可以被用来搭建后端,和前端进行交互,那么我们现在来学习一下,如何用Python本地进行requests请求,并通过请求让Django帮我们解决一些问题
    2022-06-06
  • Python两个整数相除得到浮点数值的方法

    Python两个整数相除得到浮点数值的方法

    这篇文章主要介绍了Python两个整数相除得到浮点数值的方法,本文直接给出代码示例,需要的朋友可以参考下
    2015-03-03
  • Python中PySide2的安装及配置

    Python中PySide2的安装及配置

    在python中,支持图形化界面开发的库有很多,今天主要介绍一下PySide2这个库。具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-07-07
  • Python OpenCV实现视频分帧

    Python OpenCV实现视频分帧

    这篇文章主要为大家详细介绍了Python OpenCV实现视频分帧,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-06-06
  • python动态加载包的方法小结

    python动态加载包的方法小结

    这篇文章主要介绍了python动态加载包的方法,结合实例形式总结分析了Python动态加载模块,动态增加属性及动态加载包的相关实现技巧,需要的朋友可以参考下
    2016-04-04

最新评论