解决Pytorch 训练与测试时爆显存(out of memory)的问题
更新时间：2019年08月20日 13:45:37 作者：xiaoxifei
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。
使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下：
try:
output = model(input)
except RuntimeError as exception:
if "out of memory" in str(exception):
print("WARNING: out of memory")
if hasattr(torch.cuda, 'empty_cache'):
torch.cuda.empty_cache()
else:
raise exception
测试的时候爆显存有可能是忘记设置no_grad, 示例代码如下：
with torch.no_grad():
for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):
if opt.use_gpu:
inputs = inputs.cuda()
if len(inputs.shape) < 4:
inputs = inputs.unsqueeze(1)
else:
if len(inputs.shape) < 4:
inputs = torch.transpose(inputs, 1, 2)
inputs = inputs.unsqueeze(1)
以上这篇解决Pytorch 训练与测试时爆显存(out of memory)的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python使用pylab库实现画线功能的方法,结合具体实例分析了Python使用pylab库的相关函数实现画线功能的操作技巧,并附带说明了相关函数与参数功能,需要的朋友可以参考下2017-06-06
这篇文章主要介绍了关于反爬虫的一些简单总结，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
python Sweetviz探索性数据可视化分析库使用特征详解
这篇文章主要为大家介绍了python Sweetviz探索性数据可视化分析库特征使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
Pandas是一个非常强大的数据处理库,可以方便地读取、处理和写入CSV文件,下面我们就来看看Python如何使用Pandas读取表头在中间行的CSV吧2024-11-11
这篇文章主要介绍了浅谈pytorch中的BN层的注意事项，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要为大家介绍了Python中字典有关的常见函数的使用方法，以及字典遍历的方法。文中通过示例代码为我们进行了详细介绍，对学习Python字典有一定帮助，需要的可以参考一下2022-06-06
这篇文章主要介绍了Python venv虚拟环境配置过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
这篇文章主要介绍了python + pyqt5制作一个串口助手,串口助手是串口通信使用的工具，为整合知识，打算做个串口助手，本文给大家讲解的非常详细，需要的朋友可以参考下2023-04-04
最近发现在使用pycharm编写python代码的时候发现没有了代码提示的功能,下面这篇文章主要给大家介绍了关于PyCharm无代码提示解决方案的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-06-06
这篇文章主要介绍了详解 Python中LEGB和闭包及装饰器的相关资料,主要介绍了函数作用域和闭包的理解和使用方法及Python中的装饰器，需要的朋友可以参考下2017-08-08
最新评论