PyTorch中model.zero_grad()和optimizer.zero_grad()用法
废话不多说，直接上代码吧~
model.zero_grad()
optimizer.zero_grad()
首先，这两种方式都是把模型中参数的梯度设为0
当optimizer = optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器
def zero_grad(self): """Sets gradients of all model parameters to zero.""" for p in self.parameters(): if p.grad is not None: p.grad.data.zero_()
补充知识：Pytorch中的optimizer.zero_grad和loss和net.backward和optimizer.step的理解
引言
一般训练神经网络，总是逃不开optimizer.zero_grad之后是loss（后面有的时候还会写forward，看你网络怎么写了）之后是是net.backward之后是optimizer.step的这个过程。
real_a, real_b = batch[0].to(device), batch[1].to(device) fake_b = net_g(real_a) optimizer_d.zero_grad() # 判别器对虚假数据进行训练 fake_ab = torch.cat((real_a, fake_b), 1) pred_fake = net_d.forward(fake_ab.detach()) loss_d_fake = criterionGAN(pred_fake, False) # 判别器对真实数据进行训练 real_ab = torch.cat((real_a, real_b), 1) pred_real = net_d.forward(real_ab) loss_d_real = criterionGAN(pred_real, True) # 判别器损失 loss_d = (loss_d_fake + loss_d_real) * 0.5 loss_d.backward() optimizer_d.step()
上面这是一段cGAN的判别器训练过程。标题中所涉及到的这些方法，其实整个神经网络的参数更新过程（特别是反向传播），具体是怎么操作的，我们一起来探讨一下。
参数更新和反向传播
上图为一个简单的梯度下降示意图。比如以SGD为例，是算一个batch计算一次梯度，然后进行一次梯度更新。这里梯度值就是对应偏导数的计算结果。显然，我们进行下一次batch梯度计算的时候，前一个batch的梯度计算结果，没有保留的必要了。所以在下一次梯度更新的时候，先使用optimizer.zero_grad把梯度信息设置为0。
我们使用loss来定义损失函数，是要确定优化的目标是什么，然后以目标为头，才可以进行链式法则和反向传播。
调用loss.backward方法时候，Pytorch的autograd就会自动沿着计算图反向传播，计算每一个叶子节点的梯度（如果某一个变量是由用户创建的，则它为叶子节点）。使用该方法，可以计算链式法则求导之后计算的结果值。
optimizer.step用来更新参数，就是图片中下半部分的w和b的参数更新操作。
以上这篇PyTorch中model.zero_grad()和optimizer.zero_grad()用法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
用Python写飞机大战游戏之pygame入门(4):获取鼠标的位置及运动
这篇文章主要介绍了用Python写飞机大战游戏之pygame入门(4):获取鼠标的位置及运动,需要的朋友可以参考下2015-11-11
这篇文章主要为大家介绍了python密码学文件解密实现教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了django注册用邮箱发送验证码的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要为大家介绍了python的函数参数，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
这篇文章主要为大家介绍了python单链路性能测试实践示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
ubuntu 20.04系统下如何切换gcc/g++/python的版本
这篇文章主要给大家介绍了关于ubuntu 20.04系统下如何切换gcc/g++/python版本的相关资料,文中通过代码介绍的非常详细,对大家学习或者使用ubuntu具有一定的参考借鉴价值,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了python常用数据结构元组详解，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-08-08
买房应该是大多数都会要面临的一个选择，当前经济和政策背景下，未来房价会涨还是跌？这是很多人都关心的一个话题。今天分享的这篇文章，以波士顿的房地产市场为例，根据低收入人群比例、老师学生数量等特征，利用 Python 进行了预测，给大家做一个参考2021-11-11
最好的Python DateTime 库之 Pendulum 长篇解析
datetime 模块是 Python 中最重要的内置模块之一，它为实际编程问题提供许多开箱即用的解决方案，非常灵活和强大。例如，timedelta 是我最喜欢的工具之一2021-11-11
这篇文章主要给大家介绍了关于Python for循环中陷阱的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
最新评论