Pytorch中的自动求梯度机制和Variable类实例

更新时间：2020年02月29日 11:07:41 作者：思念殇千寻

今天小编就为大家分享一篇Pytorch中的自动求梯度机制和Variable类实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

自动求导机制是每一个深度学习框架中重要的性质，免去了手动计算导数，下面用代码介绍并举例说明Pytorch的自动求导机制。

首先介绍Variable，Variable是对Tensor的一个封装，操作和Tensor是一样的，但是每个Variable都有三个属性：Varibale的Tensor本身的.data，对应Tensor的梯度.grad，以及这个Variable是通过什么方式得到的.grad_fn，根据最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable现在是同一类。torch.Tensor能像Variable那样追踪历史和反向传播。Variable仍能正确工作，但是返回的是Tensor。

我们拥抱这些新特性，看看Pytorch怎么进行自动求梯度。

#encoding:utf-8
import torch

x = torch.tensor([2.],requires_grad=True) #新建一个tensor,允许自动求梯度,这一项默认是false.
y = (x+2)**2 + 3 #y的表达式中包含x,因此y能进行自动求梯度
y.backward()
print(x.grad)

输出结果是：

tensor([8.])

这里添加一个小知识点，即torch.Tensor和torch.tensor的不同。二者均可以生成新的张量，但torch.Tensor()是python类，是默认张量类型torch.FloatTensor()的别名，使用torch.Tensor()会调用构造函数，生成单精度浮点类型的张量。

而torch.tensor()是函数，其中data可以是list,tuple,numpy,ndarray,scalar和其他类型，但只有浮点类型的张量能够自动求梯度。

torch.tensor(data, dtype=None, device=None, requires_grad=False)

言归正传，上一个例子的变量本质上是标量。下面一个例子对矩阵求导。

#encoding:utf-8
import torch

x = torch.ones((2,4),requires_grad=True)
y = torch.ones((2,1),requires_grad=True)
W = torch.ones((4,1),requires_grad=True)

J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示对矩阵作乘法
J.backward()
print(x.grad)
print(y.grad)
print(W.grad)

输出结果是：

tensor([[-1., -1., -1., -1.],
   [-1., -1., -1., -1.]])
tensor([[1.],
   [1.]])
tensor([[-2.],
   [-2.],
   [-2.],
   [-2.]])

以上这篇Pytorch中的自动求梯度机制和Variable类实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python十进制转二进制的详解
在本篇文章里小编给大家整理了关于python十进制转二进制的相关知识点内容，需要的朋友们可以参考学习下。
2020-02-02
C3 线性化算法与 MRO之Python中的多继承
Python 中的方法解析顺序（Method Resolution Order, MRO）定义了多继承存在时 Python 解释器查找函数解析的正确方式。这篇文章给大家介绍了Python中的多继承，感兴趣的朋友一起看看吧
2021-10-10
python中添加模块导入路径的方法
这篇文章主要介绍了python中添加模块导入路径的方法 ,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-02-02
关于Python中字典dict的存储原理详解
Python字典是另一种可变容器模型,可存储任意类型对象。如字符串、数字、元组等其他容器模型，因为字典是无序的所以不支持索引和切片,需要的朋友可以参考下
2023-05-05
Python创建二维数组实例(关于list的一个小坑)
下面小编就为大家带来一篇Python创建二维数组实例(关于list的一个小坑)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-11-11
Python2.x版本中cmp()方法的使用教程
这篇文章主要介绍了Python2.x版本中cmp()方法的使用教程,在Python3.x版本中该方法不再被内置,需要的朋友可以参考下
2015-05-05
pycharm设置鼠标悬停查看方法设置
在本文里小编给大家分享的是关于pycharm鼠标悬停查看方法说明怎么设置的相关知识点，需要的朋友们参考学习下。
2019-07-07
python中时间转换datetime和pd.to_datetime详析
这篇文章主要给大家介绍了关于python中时间转换datetime和pd.to_datetime的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-08-08
详解如何基于Pyecharts绘制常见的直角坐标系图表
pyecharts是基于前端可视化框架echarts的Python可视化库,下面这篇文章主要给大家介绍了关于如何基于Pyecharts绘制常见的直角坐标系图表的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-04-04
Python实现直播推流效果
这篇文章主要介绍了Python实现直播推流效果，主要是通过opencv读取视频对视频分割为帧，本文通过实例代码讲解的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-11-11