pytorch损失反向传播后梯度为none的问题

更新时间：2021年05月12日 17:03:03 作者：lczygogogo

这篇文章主要介绍了pytorch 出现损失反向传播后梯度为none的问题，具有很好的参考价值，如有错误或未考虑完全的地方，望不吝赐教

错误代码：输出grad为none

a = torch.ones((2, 2), requires_grad=True).to(device)
b = a.sum()
b.backward()
print(a.grad)

由于.to(device)是一次操作，此时的a已经不是叶子节点了

修改后的代码为：

a = torch.ones((2, 2), requires_grad=True)
c = a.to(device)

b = c.sum()
b.backward()
print(a.grad)

类似错误：

self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01

应该为

self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)

补充：pytorch梯度返回none的bug

pytorch1.4.0如果使用了view方法，reshape方法

tensor即使设置了requires_grad，反向传播之后， x返回没有grad梯度，为none

不知道其他版本有无此bug

补充：PyTorch中梯度反向传播的注意点

在一个迭代循环中

optimizer.zero_grad()语句的位置比较随意，只要放在loss.backward()前面即可，它的作用是将梯度归零，否则会在每一个迭代中进行累加，

loss.backward()的作用是反向传播，计算梯度，optimizer.step()的功能是优化器自动完成参数的更新。

optimizer.zero_grad()
loss.backward()
optimizer.step()

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python简单实现的代理服务器端口映射功能示例
这篇文章主要介绍了Python简单实现的代理服务器端口映射功能,结合实例形式分析了Python模拟服务器、代理服务器及客户端访问的相关操作技巧,需要的朋友可以参考下
2018-04-04
Python中顺序表原理与实现方法详解
这篇文章主要介绍了Python中顺序表原理与实现方法,结合实例形式分析了Python顺序表的概念、原理及增删查等相关实现技巧,需要的朋友可以参考下
2019-12-12
Python图像运算之腐蚀与膨胀详解
这篇文章将详细讲解开始图像形态学知识，主要介绍图像腐蚀处理和膨胀处理。文中的示例代码简洁易懂，感兴趣的小伙伴快跟随小编一起学习一下吧
2022-05-05
Python获取好友地区分布及好友性别分布情况代码详解
利用Python + wxpy 可以快速的查询自己好友的地区分布情况，以及好友的性别分布数量。还可以批量下载好友的头像，拼接成大图。感兴趣的朋友跟随小编一起看看吧
2019-07-07
Python将8位的图片转为24位的图片实现方法
这篇文章主要介绍了Python将8位的图片转为24位的图片的实现代码，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2018-10-10
Python开发最牛逼的IDE——pycharm
这篇文章给大家介绍了Python开发最牛逼的IDE——pycharm，主要是介绍python IDE pycharm的安装与使用教程，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧
2018-08-08
Python装饰器语法糖
今天小编就为大家分享一篇关于Python装饰器语法糖，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-01-01
python从入门到实践之组合数据类型
这篇文章主要为大家介绍了python组合数据类型，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-01-01
python中requests和https使用简单示例
这篇文章主要介绍了python中requests和https使用简单示例，具有一定借鉴价值,需要的朋友可以参考下
2018-01-01
python+selenium开发环境搭建图文教程
这篇文章主要为大家详细介绍了python+selenium开发环境搭建的图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-08-08