解决Pytorch 训练与测试时爆显存(out of memory)的问题
更新时间：2019年08月20日 13:45:37 作者：xiaoxifei
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。
使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下：
try:
output = model(input)
except RuntimeError as exception:
if "out of memory" in str(exception):
print("WARNING: out of memory")
if hasattr(torch.cuda, 'empty_cache'):
torch.cuda.empty_cache()
else:
raise exception
测试的时候爆显存有可能是忘记设置no_grad, 示例代码如下：
with torch.no_grad():
for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):
if opt.use_gpu:
inputs = inputs.cuda()
if len(inputs.shape) < 4:
inputs = inputs.unsqueeze(1)
else:
if len(inputs.shape) < 4:
inputs = torch.transpose(inputs, 1, 2)
inputs = inputs.unsqueeze(1)
以上这篇解决Pytorch 训练与测试时爆显存(out of memory)的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇python3.x 生成3维随机数组实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要介绍了浅谈Python访问MySQL的正确姿势，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
httptools 是一个 HTTP 解析器，它首先提供了一个 parse_url 函数，用来解析 URL。这篇文章就来和大家聊聊它的用法吧，感兴趣的可以了解一下2023-03-03
这篇文章主要介绍了python的变量与赋值详细分析，具有一定参考价值，需要的朋友可以了解下。2017-11-11
Scipy是Python算法库和数学工具包，包括最优化、线性代数、积分、插值、特殊函数、傅里叶变换等模块。scipy.optimize模块中提供了多个用于非线性规划问题的方法，适用于不同类型的问题。本文将利用起解决经济调度问题，感兴趣的可以了解一下2022-05-05
这篇文章主要为大家详细介绍了Python制作词云的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
这篇文章主要介绍了使用python向MongoDB插入时间字段的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了使用Python的Pygame库绘制图形的方法,Pygame是被设计用来写游戏的python模块集合,Pygame是在优秀的SDL库之上开发的功能性包,通常使用Pygame来开发具有全部特性的游戏和多媒体软件,感兴趣的朋友可以参考下2024-02-02
python+selenium打印当前页面的titl和url方法
今天小编就为大家分享一篇python+selenium打印当前页面的titl和url方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
详解Python NumPy如何使用argsort方法进行排序
NumPy提供了各种功能强大的数组操作方法,其中之一就是argsort方法,本文将详细介绍argsort方法的使用,以及如何在实际项目中充分利用它进行排序操作,希望对大家有所帮助2024-03-03
最新评论