基于梯度爆炸的解决方法:clip gradient
1. 梯度爆炸的影响
在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示
损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示
2. 解决梯度爆炸问题的方法
通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内.
算法步骤如下。
首先设置一个梯度阈值：clip_gradient
在后向传播中求出各参数的梯度，这里我们不直接使用梯度进去参数更新，我们求这些梯度的l2范数
然后比较梯度的l2范数||g||与clip_gradient的大小
如果前者大，求缩放因子clip_gradient/||g||, 由缩放因子可以看出梯度越大，则缩放因子越小，这样便很好地控制了梯度的范围
最后将梯度乘上缩放因子便得到最后所需的梯度
3. 有无clip_gradient在GRU模型中的结果比较
无clip_gradient
可以很清楚地发现在2000次迭代出发生了梯度爆炸，最终影响了训练的效果。
有clip_gradient
可以发现clip_gradient在前期有效了控制了梯度爆炸的影响，使得最终的loss能下降到满意的结果
以上这篇基于梯度爆炸的解决方法:clip gradient就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python使用openCV遍历文件夹里所有视频文件并保存成图片
这篇文章主要介绍了python使用openCV遍历文件夹里所有视频文件并保存成图片，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧2020-01-01
今天小编就为大家分享一篇Flask 上传自定义头像的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
Python面试之os.system()和os.popen()的区别详析
Python调用Shell,有两种方法:os.system(cmd)或os.popen(cmd)脚本执行过程中的输出内容,下面这篇文章主要给大家介绍了关于Python面试之os.system()和os.popen()区别的相关资料,需要的朋友可以参考下2022-06-06
使用Python创建websocket服务端并给出不同客户端的请求
本文主要介绍了使用Python创建websocket服务端并给出不同客户端的请求，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
在本篇文章里小编给大家整理了关于Python数据标准化的实例内容，有需要的朋友们可以测试学习下。2021-08-08
今天小编就为大家分享一篇对Python 实现Mac 屏幕截图详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-10-10
这篇文章主要介绍了Python一键生成核酸检测日历,本文以深圳为例，结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-09-09
今天小编就为大家分享一篇画pytorch模型图,以及参数计算的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
解决Python3.7.0 SSL低版本导致Pip无法使用问题
这篇文章主要介绍了解决Python3.7.0 SSL低版本导致Pip无法使用问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-09-09
这篇文章主要介绍了PyCharm中如何切换Python版本问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
最新评论