在 pytorch 中实现计算图和自动求导
更新时间：2022年06月28日 10:47:00 作者： zidea
这篇文章主要介绍了在 pytorch 中实现计算图和自动求导，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
前言：
今天聊一聊 pytorch 的计算图和自动求导，我们先从一个简单例子来看，下面是一个简单函数建立了 yy 和 xx 之间的关系
然后我们结点和边形式表示上面公式：
上面的式子可以用图的形式表达，接下来我们用 torch 来计算 x 导数，首先我们创建一个 tensor 并且将其requires_grad设置为True表示随后反向传播会对其进行求导。
x = torch.tensor(3.,requires_grad=True)
然后写出
y = 3*x**2 + 4*x + 2
y.backward() x.grad
通过调用y.backward()来进行求导，这时就可以通过x.grad来获得x的导数
x.requires_grad_(False)
可以通过requires_grad_让x不参与到自动求导
for epoch in range(3): y = 3*x**2 + 4*x + 2 y.backward() print(x.grad) x.grad.zero_()
如果这里没有调用x.grad_zero_()就是把每次求导数和上一次求导结果进行累加。
链式法则
相对于 z 对 x 求偏导时，我们可以将 y 看成常数，这样 x 导数是 1 那么
x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3 z = y **2
out = z.mean() out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])
对于一个简单的网络，我们可以手动计算梯度，但是如果摆在你面前的是一个有152 层的网络怎么办？或者该网络有多个分支。这时你的计算复杂程度可想而知。接下来会带来更深入自动求导内部机制
到此这篇关于在 pytorch 中实现计算图和自动求导的文章就介绍到这了,更多相关 pytorch 计算图 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
python轻松办公将100个Excel中符合条件的数据汇总到1个Excel里
这篇文章主要为大家介绍了python轻松办公将100个Excel中符合条件的数据汇总到1个Excel里示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
Selenium是如今最常用的自动化测试工具之一,支持快速开发自动化测试框架,且支持在多种浏览器上执行测试。本文将介绍关于Selenium Python自动化脚本环境搭建的相关资料,需要的朋友可以参考下2022-03-03
这篇文章主要介绍了Python中类的mro与继承关系，文章围绕主题展开初步认识mro的解析顺序，具有一定的参考价值。需要的朋友可以参考一下2022-07-07
这篇文章主要介绍了如何利用Python制作一个多进制转换工具，可以实现2进制、4进制、8进制、10进制、16进制、32进制直接的互转，需要的可以参考一下2022-02-02
优质的教程可以让我们少走很多弯路，这一点毋庸置疑。这篇文章主要为大家介绍了纯净Python环境的安装以及PyCharm编辑器的配置，需要的可以参考一下2023-04-04
这篇文章主要为大家详细介绍了python实现名片管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-04-04
这篇文章主要介绍了python爬虫Mitmproxy学习笔记分享，有需要的朋友可以收藏学习下，希望可以对你有所帮助，大家一起共同学习，共同进步2021-09-09
今天小编就为大家分享一篇Python 生成 -1~1 之间的随机数矩阵方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了Python numpy矩阵处理运算工具用法汇总,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2021-10-10
这篇文章主要介绍了基于python 等频分箱qcut问题的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
最新评论