Pytorch实现将模型的所有参数的梯度清0
有两种方式直接把模型的参数梯度设成0：
model.zero_grad()
optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时，两者等效
如果想要把某一Variable的梯度置为0，只需用以下语句：
Variable.grad.data.zero_()
补充知识：PyTorch中在反向传播前为什么要手动将梯度清零？optimizer.zero_grad()的意义
optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.
在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作：
optimizer.zero_grad() ## 梯度清零
preds = model(inputs) ## inference
loss = criterion(preds, targets) ## 求解loss
loss.backward() ## 反向传播求解梯度
optimizer.step() ## 更新权重参数
1、由于pytorch的动态计算图，当我们使用loss.backward()和opimizer.step()进行梯度下降更新参数的时候，梯度并不会自动清零。并且这两个操作是独立操作。
2、backward()：反向传播求解梯度。
3、step()：更新权重参数。
基于以上几点，正好说明了pytorch的一个特点是每一步都是独立功能的操作，因此也就有需要梯度清零的说法，如若不显示的进 optimizer.zero_grad()这一步操作，backward()的时候就会累加梯度。
以上这篇Pytorch实现将模型的所有参数的梯度清0就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python如何读取txt文件,获取指定行中指定位置数据,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-03-03
这篇文章主要来和大家聊一聊 Python 的一个内置模块：unicodedata，它是专门用来处理 unicode 字符串的，下面就一起来看看它的用法吧2023-06-06
在本篇文章里小编给大家整理的是关于Python中输入和输出（打印）数据实例方法以及相关知识点，有需要的朋友们参考下。2019-10-10
这篇文章主要为大家介绍如何利用Python中的PyQt5模块实现对数据库表格的动态增删改，文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下2022-03-03
这篇文章主要介绍了Python三种遍历文件目录的方法实例代码，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
这篇文章主要给大家介绍了关于pymysql的安装以及操作的相关资料,pymsql是Python中操作MySQL的模块,其使用方法和MySQLdb几乎相同,文中通过代码介绍的非常详细,需要的朋友可以参考下2023-11-11
PyTorch 提供了内置剪枝 API ，也支持了一些非结构化和结构化剪枝方法，但是 API 比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源 nni 工具来实现模型剪枝功能,这篇文章主要介绍了pytorch实现模型剪枝, 需要的朋友可以参考下2023-02-02
这篇文章主要介绍了详解如何管理多个Python版本和虚拟环境，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-05-05
今天小编就为大家分享一篇Python 用turtle实现用正方形画圆的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
Python编写简化版的文字冒险游戏：迷失的宝藏,这个文字冒险游戏包含了游戏开发的基本要素：游戏状态管理、玩家输入处理、游戏逻辑和循环,通过扩展游戏的内容和功能,可以制作出更复杂、更有趣的游戏,希望这个实例代码能够激发你对游戏编程的兴趣和创造力！2024-05-05
最新评论