解决torch.autograd.backward中的参数问题
torch.autograd.backward(variables, grad_variables=None, retain_graph=None, create_graph=False)
给定图的叶子节点variables, 计算图中变量的梯度和。 计算图可以通过链式法则求导。如果variables中的任何一个variable是 非标量(non-scalar)的，且requires_grad=True。那么此函数需要指定grad_variables，它的长度应该和variables的长度匹配，里面保存了相关variable的梯度(对于不需要gradient tensor的variable，None是可取的)。
此函数累积leaf variables计算的梯度。你可能需要在调用此函数之前将leaf variable的梯度置零。
参数：
variables（变量的序列） - 被求微分的叶子节点，即 ys 。
grad_variables（（张量，变量）的序列或无） - 对应variable的梯度。仅当variable不是标量且需要求梯度的时候使用。
retain_graph（bool，可选） - 如果为False，则用于释放计算grad的图。请注意，在几乎所有情况下，没有必要将此选项设置为True，通常可以以更有效的方式解决。默认值为create_graph的值。
create_graph（bool，可选） - 如果为True，则将构造派生图，允许计算更高阶的派生产品。默认为False。
我这里举一个官方的例子
import torch from torch.autograd import Variable x = Variable(torch.ones(2, 2), requires_grad=True) y = x + 2 z = y * y * 3 out = z.mean() out.backward()#这里是默认情况，相当于out.backward(torch.Tensor([1.0])) print(x.grad)
输出结果是
Variable containing: 4.5000 4.5000 4.5000 4.5000 [torch.FloatTensor of size 2x2]
接着我们继续
x = torch.randn(3) x = Variable(x, requires_grad=True) y = x * 2 while y.data.norm() < 1000: y = y * 2 gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad)
输出结果是
Variable containing: 204.8000 2048.0000 0.2048 [torch.FloatTensor of size 3]
这里这个gradients为什么要是[0.1, 1.0, 0.0001]？
如果输出的多个loss权重不同的话，例如有三个loss，一个是x loss，一个是y loss，一个是class loss。那么很明显的不可能所有loss对结果影响程度都一样，他们之间应该有一个比例。那么比例这里指的就是[0.1, 1.0, 0.0001]，这个问题中的loss对应的就是上面说的y，那么这里的输出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx。
如有问题，希望大家指正，谢谢_!
以上这篇解决torch.autograd.backward中的参数问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python中对_init_的理解及实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
透视表是一种可以对数据动态排布并且分类汇总的表格格式，在常用的python的数据分析非标准库pandas中体现为pivot_table模块。本文主要介绍了如何实现制作数据分析透视表，需要的可以参考一下2022-09-09
这篇文章主要介绍了Python WSGI 规范的相关资料，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-04-04
python 除法运算 比较奇怪，和别的程序语言不大一样。从Python2.2开始，除法运算符除了/之外，又引入了一个除法运算符：//，后一种运算符只用于进行整除法。对于除法运算符/，默认时的行为跟Python2.2之前的一样，它视操作数而定，既可以进行整除，也可以进行真除法。2014-09-09
python提示No module named images的解决方法
这篇文章主要介绍了python提示No module named images的解决方法,是Python程序设计中经常遇到的问题,本文给出了具有针对性的解决方法,需要的朋友可以参考下2014-09-09
今天小编就为大家分享一篇浅谈PyQt5 的帮助文档查找方法,可以查看每个类的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
很多时候，我们需要一种必须可视化数据如何在实体之间流动的情况。这个时候就需要桑基图，它通常描绘 从一个实体(或节点)到另一个实体(或节点)的数据流。本文将利用Python绘制惊艳的桑基图，需要的可以参考一下2022-02-02
下面介绍一些数据可视化的作品（包含部分代码），主要是地学领域，可迁移至其他学科，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧2021-11-11
python实现将文件夹下面的不是以py文件结尾的文件都过滤掉的方法
今天小编就为大家分享一篇python实现将文件夹下面的不是以py文件结尾的文件都过滤掉的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
python中几个常用函数的正确用法-lambda/filter/map/reduce
这篇文章主要介绍了python中几个常用函数的正确用法，这几个常用函数包括lambda、filter、map、reduce，本文将围绕这几个常用函数展开内容,需要的朋友可以参考一下2021-11-11
最新评论