解决pytorch GPU 计算过程中出现内存耗尽的问题
Pytorch GPU运算过程中会出现：“cuda runtime error(2): out of memory”这样的错误。通常，这种错误是由于在循环中使用全局变量当做累加器，且累加梯度信息的缘故，用官方的说法就是："accumulate history across your training loop"。在默认情况下，开启梯度计算的Tensor变量是会在GPU保持他的历史数据的，所以在编程或者调试过程中应该尽力避免在循环中累加梯度信息。
下面举个栗子：
上代码：
total_loss=0 for i in range(10000): optimizer.zero_grad() output=model(input) loss=criterion(output) loss.backward() optimizer.step() total_loss+=loss #这里total_loss是跨越循环的变量，起着累加的作用， #loss变量是带有梯度的tensor，会保持历史梯度信息，在循环过程中会不断积累梯度信息到tota_loss，占用内存
以上例子的修正方法是在循环中的最后一句修改为：total_loss+=float(loss)，利用类型变换解除梯度信息，这样，多次累加不会累加梯度信息。
局部变量逗留导致内存泄露
局部变量通常在变量作用域之外会被Python自动销毁，在作用域之内，不需要的临时变量可以使用del x来销毁。
在设计Linear Layers 的时候，尽量让其规模小点
对于nn.Linear(m,n)这样规模的线性函数，他的空间规模为O(mn),除此规模的空间来容纳参数意外，还需要同样规模的空间来存储梯度，由此很容易造成GPU空间溢出。
相关的进程管理bash cmd
nvidia-smi监控GPU，
watch -n 1 nvidia-smi实时监控GPU，
watch -n 1 lscpu实时监控CPU，
ps -elf进程查看，
ps -elf | grep python查看Python子进程，
kill -9 [PID]杀死进程PID。
Referance:
以上这篇解决pytorch GPU 计算过程中出现内存耗尽的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python+gensim实现文本相似度分析详解,在开发中我们会遇到进行文本相似度分析的需求，计算文本相似度，用于鉴别文章是否存在抄袭,需要的朋友可以参考下2023-07-07
本文将详细介绍如何使用Python和OpenCV进行基于像素点的图像分割,包括阈值分割,自适应阈值分割等,感兴趣的小伙伴可以跟随小编一起学习一下2024-12-12
这篇文章主要介绍了Python排序搜索基本算法之插入排序,结合实例形式分析了基于比较的插入排序和基于交换的插入排序实现技巧,需要的朋友可以参考下2017-12-12
Python实现将16进制字符串转化为ascii字符的方法分析
这篇文章主要介绍了Python实现将16进制字符串转化为ascii字符的方法,结合实例形式分析了Python 16进制字符串转换为ascii字符的实现方法与相关注意事项,需要的朋友可以参考下2017-07-07
这篇文章主要为大家详细介绍了python实现画图工具，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-08-08
解决tf.keras.models.load_model加载模型报错问题
这篇文章主要介绍了解决tf.keras.models.load_model加载模型报错问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
这篇文章主要为大家详细介绍了python进阶之协程，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-02-02
python使用selenium打开chrome浏览器时带用户登录信息实现过程详解
这篇文章主要介绍了python使用selenium打开chrome浏览器时带用户登录信息,本文以实例给大家来展示如何让selenium在打开chrome浏览器的时候带上用户的登录信息，感兴趣的朋友跟随小编一起看看吧2022-02-02
今天小编就为大家分享一篇对pycharm 修改程序运行所需内存详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Python如何定义接口和抽象类，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
最新评论