Pytorch反向求导更新网络参数的方法
更新时间：2019年08月17日 17:57:56 作者：tsq292978891
今天小编就为大家分享一篇Pytorch反向求导更新网络参数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
方法一：手动计算变量的梯度，然后更新梯度
import torch from torch.autograd import Variable # 定义参数 w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True) # 定义输出 d = torch.mean(w1) # 反向求导 d.backward() # 定义学习率等参数 lr = 0.001 # 手动更新参数 w1.data.zero_() # BP求导更新参数之前,需先对导数置0 w1.data.sub_(lr*w1.grad.data)
一个网络中通常有很多变量,如果按照上述的方法手动求导,然后更新参数,是很麻烦的,这个时候可以调用torch.optim
方法二：使用torch.optim
import torch from torch.autograd import Variable import torch.nn as nn import torch.optim as optim # 这里假设我们定义了一个网络,为net steps = 10000 # 定义一个optim对象 optimizer = optim.SGD(net.parameters(), lr = 0.01) # 在for循环中更新参数 for i in range(steps): optimizer.zero_grad() # 对网络中参数当前的导数置0 output = net(input) # 网络前向计算 loss = criterion(output, target) # 计算损失 loss.backward() # 得到模型中参数对当前输入的梯度 optimizer.step() # 更新参数
注意：torch.optim只用于参数更新和对参数的梯度置０，不能计算参数的梯度，在使用torch.optim进行参数更新之前，需要写前向与反向传播求导的代码
以上这篇Pytorch反向求导更新网络参数的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现比较两个列表(list)范围,本文根据一道题目实现解决代码,本文分别给出题目和解答源码,需要的朋友可以参考下2015-06-06
本文主要介绍了Python实现端口扫描器，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-08-08
下面小编就为大家分享一篇Python序列循环移位的3种方法推荐，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
在Python中,处理数据时经常需要同时遍历多个序列,zip函数提供了一种简洁的方式来组合这些序列,它用于将多个可迭代对象（如列表、元组等）的元素配对,本文将给大家详细介绍一下Python中的zip函数,需要的朋友可以参考下2024-05-05
Python的命令行参数,提供了很多有用的功能,可以方便调试和运行,这篇文章主要给大家介绍了关于Python中三种命令行参数利用方式的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了pandas读取中文xlsx文件出现的问题及解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
特征提取是图像处理过程中常需要用到的一种方法,其效果好坏对模型的泛化能力有至关重要的影响,下面这篇文章主要给大家介绍了关于如何从PyTorch中获取过程特征图的相关资料,需要的朋友可以参考下2023-01-01
这篇文章主要为大家详细介绍了Python实现常见网络通信的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴就跟随小编一起学习一下吧2025-04-04
这篇文章主要介绍了如何利用python实现蝴蝶曲线，自然界的很多现象都可以适当的简化用代数曲线和超越曲线来表达，下面我们就来利用去先画出小蝴蝶，需要的小伙伴可以参考一下2022-03-03
TOML是一种用于配置文件的轻量级、易读的数据序列化格式,这篇文章主要为大家详细介绍了python如何对Toml配置文件进行简单操作,感兴趣的小伙伴可以了解下2023-09-09
最新评论