模型训练时GPU利用率太低的原因及解决
更新时间：2023年02月22日 08:55:07 作者：. 小王同学.
这篇文章主要介绍了模型训练时GPU利用率太低的原因及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
模型训练时GPU利用率太低的原因
最近在训练SSD模型时发现GPU的利用率只有8%，而CPU的利用率却非常高。
后来了解到，一般使用CPU进行数据的读取和预处理，而使用GPU进行模型的正向传播和反向传播。由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。
最后总结一下，有的时候模型训练慢并不是因为显卡不行或者模型太大，而是在跑模型过程中有一些其他的操作导致速度很慢，尤其是文件的IO操作，这会导致GPU得不到连续性使用，整体速度特别慢。
问题的解决办法
1，关闭一些日志记录，减少日志IO操作频率。
2，NVIDA提供了DALI库，可以将数据处理转移到GPU上。
模型训练GPU利用率低，占用低怎么破
GPU 的显存占用和算力利用直接影响模型的训练速度
GPU 显存占用低问题
1、提高batch_size
2、提高模型输入尺寸
3、增加模型深度
推荐：优先提高batch_size, 其他方法会对模型结构产生影响
GPU利用率低问题
1、提高线程数
2、打开pin_memory
# 在pytorch 加载数据时提高线程数，打开pin_memory torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
流式模式,顾名思义,即通过流的方式持续发送数据而不是一次性全部返回,与传统的 HTTP 请求模式不同,流式模式的特点在于服务器可以在连接打开后持续地向客户端发送数据,本文给大家介绍了Python如何基于SSE实现流式模式,需要的朋友可以参考下2024-11-11
读写文件是最常见的IO操作,Python内置了读写文件的函数,下面这篇文章主要给大家介绍了关于Python文件读写操作的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了详解Python3除法之真除法、截断除法和下取整对比，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
这篇文章主要为大家介绍了Python区块链创建Block Class教程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
本文主要介绍了python实现动态规划算法的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
这篇文章主要介绍了python版本的仿windows计划任务工具,计划任务工具根据自己设定的具体时间，频率，命令等属性来规定所要执行的计划,当然功能不是很全大家可以补充2018-04-04
这篇文章主要介绍了Django使用中间键实现csrf认证详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了pycharm显示远程图片的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
这篇文章主要介绍了Python实现病毒仿真器的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
在Python中,type()函数是一个非常有用的工具,它可以查看变量或对象的数据类型,本文主要介绍了Python中type()函数的具体使用,感兴趣的可以一起来了解一下2024-01-01
最新评论