pytorch梯度剪裁方式
更新时间：2020年02月04日 14:54:42 作者：wang xiang
今天小编就为大家分享一篇pytorch梯度剪裁方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
我就废话不多说，看例子吧！
import torch.nn as nn outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
nn.utils.clip_grad_norm_ 的参数：
parameters – 一个基于变量的迭代器，会进行梯度归一化
max_norm – 梯度的最大范数
norm_type – 规定范数的类型，默认为L2
以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了python 命令行界面的用户交互及优化方法详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-11-11
这篇文章主要介绍了python 存储json数据的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-05-05
Counter是一个容器,可以跟踪等效值增加的次数.这个类可以用来实现其他语言中常用包或多集合数据结构实现的算法.本篇文章非常详细的介绍了容器Counter的使用方式,需要的朋友可以参考下2021-05-05
我的读者知道我是一个喜欢痛骂Python3 unicode的人。这次也不例外。我将会告诉你用unicode有多痛苦和为什么我不能闭嘴。我花了两周时间研究Python3，我需要发泄我的失望。在这些责骂中，仍然有有用的信息，因为它教我们如何来处理Python3。如果没有被我烦到，就读一读吧2014-11-11
这篇文章主要介绍了Python秒算24点,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
玩迷宫游戏长大的我们，欣慰地看到，下一代仍热爱着这个经典游戏。本文将通过Python中的Pygame库制作这一经典的游戏，需要的可以参考一下2022-02-02
这篇文章主要介绍了python实现class对象转换成json/字典的方法,结合实例形式分析了Python类型转换的相关技巧,需要的朋友可以参考下2016-03-03
这篇文章主要介绍了python识别图像并提取文字的实现方法,2019-06-06
前面我们介绍了如何抓取百度贴吧文章，然后讲解了python的神器正则表达式，下面，我们就把2者结合起来，详细介绍下，如何来抓取到糗事百科里面的指定内容2014-11-11
这篇文章主要为大家介绍了python进阶学习实时目标跟踪示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
最新评论