pytorch梯度剪裁方式
更新时间：2020年02月04日 14:54:42 作者：wang xiang
今天小编就为大家分享一篇pytorch梯度剪裁方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
我就废话不多说，看例子吧！
import torch.nn as nn outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
nn.utils.clip_grad_norm_ 的参数：
parameters – 一个基于变量的迭代器，会进行梯度归一化
max_norm – 梯度的最大范数
norm_type – 规定范数的类型，默认为L2
以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python二元赋值实用技巧解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
这篇文章主要为大家详细介绍了python实现多线程的方式及多条命令并发执行，感兴趣的小伙伴们可以参考一下2016-06-06
这篇文章主要介绍了Python反射用法,结合实例形式简单分析了Python反射的概念、原理及使用方法,需要的朋友可以参考下2017-12-12
这篇文章主要介绍了Python3使用xlrd、xlwt处理Excel方法数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
下面小编就为大家分享一篇Python中最大最小赋值小技巧，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-12-12
今天小编就为大家分享一篇TensorFlow的权值更新方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了Python与Mongodb数据库之间的操作,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-07-07
牛顿迭代法又称为牛顿-拉夫逊（拉弗森）方法，它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。本文将利用图文详解牛顿迭代算法原理及实现，需要的可以参考一下2022-08-08
深入理解Python虚拟机中列表(list)的实现原理及源码剖析
在本篇文章当中主要给大家介绍 cpython 虚拟机当中针对列表的实现，在 Python 中，List 是一种非常常用的数据类型，可以存储任何类型的数据，并且支持各种操作，如添加、删除、查找、切片等，在本篇文章当中将深入去分析这一点是如何实现的2023-03-03
本文主要介绍了python中静态方法staticmethod用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-07-07
最新评论