脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → PyTorch 导数应用

PyTorch 导数应用的使用教程

 更新时间：2020年08月31日 10:57:54   作者：YXHPY  
这篇文章主要介绍了PyTorch 导数应用的使用教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

前言

由于机器学习的基本思想就是找到一个函数去拟合样本数据分布,因此就涉及到了梯度去求最小值,在超平面我们又很难直接得到全局最优值,更没有通用性,因此我们就想办法让梯度沿着负方向下降,那么我们就能得到一个局部或全局的最优值了,因此导数就在机器学习中显得非常重要了

基本使用

tensor.backward()可以及自动将梯度累加积到tensor.grad上

x = torch.ones(3,3)
print(x.requires_grad)
x.requires_grad_(True)
print(x.requires_grad)
y = x**2/(x-2)
out = y.mean()
print(x.grad)
out.backward()
print(x.grad)

False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
        [-0.3333, -0.3333, -0.3333],
        [-0.3333, -0.3333, -0.3333]])

requires_grad 可以获取到tensor是否可导
requires_grad_() 可以设置tensor是否可导
grad 查看当前tensor导数

上面的公式很简单,程序含义

1/4 * (x**2) / (x-2)

求x的导数,基本公式在下方

注意点

我们使用.mean后得到的是标量,如果不是标量会报错

x = torch.ones(3, requires_grad=True)
y = x * 2
y = y * 2
print(y)

tensor([4., 4., 4.], grad_fn=<MulBackward0>)
y.backward()
print(x.grad)

报错

RuntimeError: grad can be implicitly created only for scalar outputs

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward()
print(x.grad)
tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])

no_grad()作用域

如果想要某部分程序不可导那么我们可以使用这个

x = torch.ones(3, requires_grad=True)
y = x * 2
print(y.requires_grad)
with torch.no_grad():
 y = y * 2 
 print(y.requires_grad)

True
False

总结

这一章我们使用pytorch里面的backward,自动实现了函数的求导,帮助我们在后面面对很多超大参数量的函数的时候,求导就变得游刃有余

上节

PyTorch使用教程-安装与基本使用

到此这篇关于PyTorch 导数应用的使用教程的文章就介绍到这了,更多相关PyTorch 导数应用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Win 10下Anaconda虚拟环境的教程

    Win 10下Anaconda虚拟环境的教程

    这篇文章主要介绍了Win 10下Anaconda虚拟环境的相关知识，本文通过实例截图相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-05-05
  • Python3爬虫mitmproxy的安装步骤

    Python3爬虫mitmproxy的安装步骤

    在本篇文章里小编给大家整理的是关于Python3爬虫mitmproxy的安装步骤，需要的朋友们可以学习下。
    2020-07-07
  • python查找特定名称文件并按序号、文件名分行打印输出的方法

    python查找特定名称文件并按序号、文件名分行打印输出的方法

    这篇文章主要介绍了python查找特定名称文件并按序号、文件名分行打印输出的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-04-04
  • Python使用filetype精确判断文件类型

    Python使用filetype精确判断文件类型

    判断文件类型在开发中非常常见的需求，怎样才能准确的判断文件类型呢？首先大家想到的是文件的后缀，但是非常遗憾的是这种方法是非常不靠谱的，因为文件的后缀是可以随意更改的，而python中有个小插件可以实现，下面我们就来详细探讨下
    2017-07-07
  • Python遍历指定文件夹下的所有文件名的方法小结

    Python遍历指定文件夹下的所有文件名的方法小结

    当需要遍历指定文件夹下的所有文件名时,Python提供了多种方法来实现这个任务,本文将介绍如何使用Python来完成这一任务,有需要的小伙伴可以参考下
    2024-01-01
  • PyCharm中Python解释器如何选择详析

    PyCharm中Python解释器如何选择详析

    这篇文章主要给大家介绍了关于PyCharm中Python解释器如何选择的相关资料,文中详细分析了四种常见的Python环境管理工具,分别是venv、conda、pipenv和poetry,需要的朋友可以参考下
    2024-11-11
  • pandas重新生成索引的方法

    pandas重新生成索引的方法

    今天小编就为大家分享一篇pandas重新生成索引的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python爬虫抓取代理IP并检验可用性的实例

    Python爬虫抓取代理IP并检验可用性的实例

    今天小编就为大家分享一篇Python爬虫抓取代理IP并检验可用性的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • django实现支付宝支付实例讲解

    django实现支付宝支付实例讲解

    在本篇文章里小编给大家整理的是一篇关于django支付宝支付的代码实例内容，需要的朋友们可以学习下。
    2019-10-10
  • Python3使用requests发闪存的方法

    Python3使用requests发闪存的方法

    requests是一个python 轻量的http客户端库，相比python的标准库要优雅很多。接下来通过本文给大家介绍Python3使用requests发闪存的方法，感兴趣的朋友一起学习吧
    2016-05-05

最新评论