在pytorch中实现只让指定变量向后传播梯度
pytorch中如何只让指定变量向后传播梯度？
（或者说如何让指定变量不参与后向传播？）
有以下公式，假如要让L对xvar求导：
（1）中，L对xvar的求导将同时计算out1部分和out2部分；
（2）中，L对xvar的求导只计算out2部分，因为out1的requires_grad=False；
（3）中，L对xvar的求导只计算out1部分，因为out2的requires_grad=False；
验证如下：
#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
Created on Wed May 23 10:02:04 2018
@author: hy
"""
import torch
from torch.autograd import Variable
print("Pytorch version: {}".format(torch.__version__))
x=torch.Tensor([1])
xvar=Variable(x,requires_grad=True)
y1=torch.Tensor([2])
y2=torch.Tensor([7])
y1var=Variable(y1)
y2var=Variable(y2)
#(1)
print("For (1)")
print("xvar requres_grad: {}".format(xvar.requires_grad))
print("y1var requres_grad: {}".format(y1var.requires_grad))
print("y2var requres_grad: {}".format(y2var.requires_grad))
out1 = xvar*y1var
print("out1 requres_grad: {}".format(out1.requires_grad))
out2 = xvar*y2var
print("out2 requres_grad: {}".format(out2.requires_grad))
L=torch.pow(out1-out2,2)
L.backward()
print("xvar.grad: {}".format(xvar.grad))
xvar.grad.data.zero_()
#(2)
print("For (2)")
print("xvar requres_grad: {}".format(xvar.requires_grad))
print("y1var requres_grad: {}".format(y1var.requires_grad))
print("y2var requres_grad: {}".format(y2var.requires_grad))
out1 = xvar*y1var
print("out1 requres_grad: {}".format(out1.requires_grad))
out2 = xvar*y2var
print("out2 requres_grad: {}".format(out2.requires_grad))
out1 = out1.detach()
print("after out1.detach(), out1 requres_grad: {}".format(out1.requires_grad))
L=torch.pow(out1-out2,2)
L.backward()
print("xvar.grad: {}".format(xvar.grad))
xvar.grad.data.zero_()
#(3)
print("For (3)")
print("xvar requres_grad: {}".format(xvar.requires_grad))
print("y1var requres_grad: {}".format(y1var.requires_grad))
print("y2var requres_grad: {}".format(y2var.requires_grad))
out1 = xvar*y1var
print("out1 requres_grad: {}".format(out1.requires_grad))
out2 = xvar*y2var
print("out2 requres_grad: {}".format(out2.requires_grad))
#out1 = out1.detach()
out2 = out2.detach()
print("after out2.detach(), out2 requres_grad: {}".format(out1.requires_grad))
L=torch.pow(out1-out2,2)
L.backward()
print("xvar.grad: {}".format(xvar.grad))
xvar.grad.data.zero_()
pytorch中，将变量的requires_grad设为False，即可让变量不参与梯度的后向传播；
但是不能直接将out1.requires_grad=False;
其实，Variable类型提供了detach()方法，所返回变量的requires_grad为False。
注意：如果out1和out2的requires_grad都为False的话，那么xvar.grad就出错了，因为梯度没有传到xvar
补充：
volatile=True表示这个变量不计算梯度, 参考:Volatile is recommended for purely inference mode, when you're sure you won't be even calling .backward(). It's more efficient than any other autograd setting - it will use the absolute minimal amount of memory to evaluate the model. volatile also determines that requires_grad is False.
以上这篇在pytorch中实现只让指定变量向后传播梯度就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了flask框架使用orm连接数据库的方法,结合实例形式分析了flask框架使用flask_sqlalchemy包进行mysql数据库连接操作的具体步骤与相关实现技巧,需要的朋友可以参考下2018-07-07
这篇文章主要介绍了Python面向对象之多态原理与用法,结合具体案例形式分析了Python多态的具体功能、原理、使用方法与操作注意事项,需要的朋友可以参考下2019-12-12
今天小编就为大家分享一篇利用python在excel里面直接使用sql函数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
这篇文章主要为大家详细介绍了Python实现批量备份交换机配置+自动巡检的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2023-11-11
这篇文章主要介绍了Pycharm最新激活码2019，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-12-12
下面小编就为大家分享一篇基于python内置函数与匿名函数详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-01-01
springboot配置文件抽离 git管理统 配置中心详解
在本篇文章里小编给大家整理的是关于springboot配置文件抽离 git管理统 配置中心的相关知识点内容，有需要的朋友们可以学习下。2019-09-09
本文主要介绍了Python数据分析之Matplotlib 3D图详情，Matplotlib提供了mpl_toolkits.mplot3d工具包来进行3D图表的绘制，下文总结了更多相关资料，需要的小伙伴可以参考一下2022-05-05
用python进行大文件下载的时候，一旦出现网络波动问题，导致文件下载到一半。如果将下载不完全的文件删掉，那么又需要从头开始，如果连续网络波动，是不是要头秃了。本文提供断点续传下载工具方法，希望可以帮助到你2021-10-10
这篇文章主要介绍了Django项目uwsgi+Nginx保姆级部署教程实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
最新评论