pytorch损失反向传播后梯度为none的问题
更新时间：2021年05月12日 17:03:03 作者：lczygogogo
这篇文章主要介绍了pytorch 出现损失反向传播后梯度为none的问题，具有很好的参考价值，如有错误或未考虑完全的地方，望不吝赐教
错误代码：输出grad为none
a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad)
由于.to(device)是一次操作，此时的a已经不是叶子节点了
修改后的代码为：
a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)
类似错误：
self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01
应该为
self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)
补充：pytorch梯度返回none的bug
pytorch1.4.0如果使用了view方法，reshape方法
tensor即使设置了requires_grad，反向传播之后， x返回没有grad梯度，为none
不知道其他版本有无此bug
补充：PyTorch中梯度反向传播的注意点
在一个迭代循环中
optimizer.zero_grad()语句的位置比较随意，只要放在loss.backward()前面即可，它的作用是将梯度归零，否则会在每一个迭代中进行累加，
loss.backward()的作用是反向传播，计算梯度，optimizer.step()的功能是优化器自动完成参数的更新。
optimizer.zero_grad() loss.backward() optimizer.step()
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了使用 Python 实现文件递归遍历的三种方式,非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧2018-07-07
在matplotlib.pyplot 中除了可以绘制常规图表如折线、柱状、散点等,还可以绘制常用在地理上的平面展示地型的等高线图,在本中,我们将详细学习matplotlib 绘制等高线图相关属性的学习,需要的朋友可以参考下2023-11-11
本文主要介绍了Python中星号的五种用法小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
python从2.6开始支持format，新的更加容易读懂的字符串格式化方法，下面这篇文章主要介绍了Python中字符串格式化str.format的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧。2017-02-02
windows10在visual studio2019下配置使用openCV4.3.0
这篇文章主要介绍了windows10在visual studio2019下配置使用openCV4.3.0，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
这篇文章主要介绍了Anaconda详细安装步骤图文教程,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
今天小编就为大家分享一篇Python实现投影法分割图像示例(二)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要为大家详细介绍了如何基于Python制作一个PDF批量转化工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-12-12
Python具有易学、易用、易扩展、可移植性强等特点，被广泛应用于数据分析、人工智能、Web开发、自动化测试等领域。Python在使用过程中也会遇到一些常见技术问题，本文汇总Python开发中实用操作方法代码笔记。2023-06-06
这篇文章主要介绍了Python使用新浪微博API发送微博的例子,需要的朋友可以参考下2014-04-04
最新评论