基于梯度爆炸的解决方法:clip gradient
更新时间：2020年02月04日 14:50:49 作者：小强的呼呼呼
今天小编就为大家分享一篇基于梯度爆炸的解决方法:clip gradient，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1. 梯度爆炸的影响
在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示
损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示
2. 解决梯度爆炸问题的方法
通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内.
算法步骤如下。
首先设置一个梯度阈值：clip_gradient
在后向传播中求出各参数的梯度，这里我们不直接使用梯度进去参数更新，我们求这些梯度的l2范数
然后比较梯度的l2范数||g||与clip_gradient的大小
如果前者大，求缩放因子clip_gradient/||g||, 由缩放因子可以看出梯度越大，则缩放因子越小，这样便很好地控制了梯度的范围
最后将梯度乘上缩放因子便得到最后所需的梯度
3. 有无clip_gradient在GRU模型中的结果比较
无clip_gradient
可以很清楚地发现在2000次迭代出发生了梯度爆炸，最终影响了训练的效果。
有clip_gradient
可以发现clip_gradient在前期有效了控制了梯度爆炸的影响，使得最终的loss能下降到满意的结果
以上这篇基于梯度爆炸的解决方法:clip gradient就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在本篇文章里小编给各位分享了关于python原类、类的创建过程与方法的相关知识点内容，有兴趣的朋友们跟着学习参考下。2019-07-07
今天带大家学习Python数据类型的扩展知识,文中有非常详细的介绍介代码示例,对正在学习python的小伙伴有很大的帮助,需要的朋友可以参考下2021-05-05
八卦最先由伏羲根据燧人氏造设的两幅星图历法《河图洛书》创设。本文将通过Python和Matlab分别绘制伏羲八卦图，感兴趣的小伙伴可以了解一下2022-03-03
今天小编就为大家分享一篇python 使用递归实现打印一个数字的每一位示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了python脚本设置系统时间的两种方法，其一是调用socket直接发送udp包到国家授时中心，其二是调用ntplib包，感兴趣的小伙伴们可以参考一下2016-02-02
这篇文章主要和大家分享一个有意思的模型：RealBasicVSR。本文将利用这个模型制作一个图像超分处理工具，感兴趣的小伙伴可以跟随小编一起学习一下2022-05-05
VScode查看python f.write()的文件乱码问题及解决方法
这篇文章主要介绍了VScode查看python f.write()的文件乱码问题及解决方法,本文通过图文并茂的形式给大家分享解决方法，需要的朋友可以参考下2023-02-02
随着IT行业的不断发展,编程学习也越来越重要,很多人都开启了很多计算机语言的学习,下面这篇文章主要给大家介绍了关于django的使用步骤入门教程,文中通过图文介绍的非常详细,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了利用Python+阿里云实现DDNS动态域名解析的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-04-04
2020年10款优秀的Python第三方库,看看有你中意的吗？
2020已经过去，在过去的一年里，又有非常多优秀的Python库涌现出来。相对于numpy、TensorFlow、pandas这些已经经过多年维护、迭代，对于大多数Python开发者耳熟能详的库不同。2021-01-01
最新评论