pytorch 梯度NAN异常值的解决方案
更新时间：2021年06月05日 14:13:05 作者：sini2018
这篇文章主要介绍了pytorch 梯度NAN异常值的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
pytorch 梯度NAN异常值
gradient 为nan可能原因：
1、梯度爆炸
2、学习率太大
3、数据本身有问题
4、backward时，某些方法造成0在分母上， 如：使用方法sqrt()
定位造成nan的代码：
import torch # 异常检测开启 torch.autograd.set_detect_anomaly(True) # 反向传播时检测是否有异常值，定位code with torch.autograd.detect_anomaly(): loss.backward()
pytorch处理inf和nan数值
在构建网络框架后，运行代码，发现很多tensor出现了inf值或者nan,在很多博客上没有找到对应的解决方法，大部分是基于numpy写的，比较麻烦。
下面基于torch BIF函数实现替换这2个值。
a = torch.Tensor([[1, 2, np.nan], [np.inf, np.nan, 4], [3, 4, 5]])
a
Out[158]:
tensor([[1., 2., nan],
[inf, nan, 4.],
[3., 4., 5.]])
下面把nan值还为0：
a = torch.where(torch.isnan(a), torch.full_like(a, 0), a)
a
Out[160]:
tensor([[1., 2., 0.],
[inf, 0., 4.],
[3., 4., 5.]])
接着把inf替换为1：
a = torch.where(torch.isinf(a), torch.full_like(a, 0), a)
a
Out[162]:
tensor([[1., 2., 0.],
[0., 0., 4.],
[3., 4., 5.]])
简单回顾
tips:对于某些tensor,可能已经开启了grad功能，需要把它先转为普通tensor（使用.data）
torch.where(condition,T,F) 函数有三个输入值，
第一个是判断条件，
第二个是符合条件的设置值，
第三个是不符合条件的设置值
torch.full_like(input, fill_value, …) 返回与input相同size，单位值为fill_value的矩阵
#如下面这个例子，a为3*3的tensor
b =torch.full_like(a, 0,)
b
Out[165]:
tensor([[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.]])
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python中变量的拷贝和作用域问题,包括一些赋值、引用问题,以及相关函数在Python2和3版本之间的不同,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了如何用python 批量重命名移动多个文件，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-03-03
程序从程序入口进入,到程序执行结束,大体是按照顺序结构执行语句、函数或代码块,掌握程序的结构,有利于把握程序的主体框架,下面这篇文章主要给大家介绍了关于Python编程之顺序执行与程序的主入口的相关资料,需要的朋友可以参考下2022-12-12
这篇文章主要为大家详细介绍了TensorFlow实现AutoEncoder自编码器，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要为大家介绍了python实现GATK多线程加速示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
python人工智能tensorflow函数np.random模块使用
这篇文章主要为大家介绍了python人工智能tensorflow函数np.random模块使用方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要为大家介绍了Python数学函数math模块使用指南,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-11-11
本文将介绍Python的pytest库的10个强大用法,并提供相应的代码示例,帮助你更好地理解和应用单元测试,它提供了许多高级功能和便利的用法,能够让我们更轻松地编写和执行单元测试2024-01-01
又是一年一度的圣诞节快到了,提到圣诞节,就不得不提圣诞树,所以本文我们将使用Python绘制一棵圣诞树,文中有详细的代码讲解,具有一定的参考价值,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了PyTorch 导数应用的使用教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
最新评论