tensorflow 查看梯度方式
更新时间：2020年02月04日 10:53:36 作者：zyr523
今天小编就为大家分享一篇tensorflow 查看梯度方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1. 为什么要查看梯度
对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题
（1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失
（2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸
所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resnet,densenet之类的
2. tensorflow中如何查看梯度
tf.gradients(y,x)这里的就是y对于x的导数（dy/dx）,x和y一定要有关联哦~
直接tf.gradients(y_, weight1)就可以了~
以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python调用Matplotlib绘制分布点并且添加标签的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
这篇文章主要介绍了python SocketServer源码深入解读,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
本文主要介绍了Python把png转成jpg的项目实践,可以使用PIL库来将PNG图片转换为JPG格式,具有一定的参考价值,感兴趣的可以了解一下2024-02-02
这篇文章主要介绍了python 实现音频叠加的示例，帮助大家更好的理解和使用python处理声音文件，感兴趣的朋友可以了解下2020-10-10
这篇文章给大家分享了Vim配置python开发环境的实践心得，大家可以跟着尝试操作下。2018-07-07
使用PyInstaller将Python代码打包成独立可执行文件详细步骤
PyInstaller是一个Python库,可以将Python应用程序转换为独立的可执行文件,这篇文章主要给大家介绍了关于使用PyInstaller将Python代码打包成独立可执行文件的详细步骤,需要的朋友可以参考下2024-07-07
这篇文章主要介绍了如何利用 Python 实现酷我在线音乐的爬取，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起了解一下2022-04-04
这篇文章主要为大家介绍了Python Textual文本用户界面框架使用原理探索,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-02-02
Inf 表示正无穷大或负无穷大,通常是在数学计算中产生的结果,本文主要介绍了Pandas 处理DataFrame中的inf值实现,具有一定的参考价值,感兴趣的可以了解一下2024-04-04
Python中的extend函数是用于将一个列表的元素添加到另一个列表中,它会将第一个列表中的元素逐个添加到第二个列表的末尾,这篇文章主要给大家介绍了关于python中extend函数举例详解以及对比的相关资料,需要的朋友可以参考下2024-03-03
最新评论