tensorflow 查看梯度方式
更新时间：2020年02月04日 10:53:36 作者：zyr523
今天小编就为大家分享一篇tensorflow 查看梯度方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1. 为什么要查看梯度
对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题
（1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失
（2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸
所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resnet,densenet之类的
2. tensorflow中如何查看梯度
tf.gradients(y,x)这里的就是y对于x的导数（dy/dx）,x和y一定要有关联哦~
直接tf.gradients(y_, weight1)就可以了~
以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
迭代器即可以遍历诸如列表，字典及字符串等序列对象甚至自定义对象的对象，其本质就是记录迭代对象中每个元素的位置。这篇文章主要介绍了Python3之手动创建迭代器,需要的朋友可以参考下2019-05-05
这篇文章主要介绍了Python高级编程之继承问题,结合实例形式详细分析了Python多继承、MRO顺序及super调用父类等相关操作技巧,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Python 如何引入同级包和模块，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
诈金花又叫三张牌，是在全国广泛流传的一种民间多人纸牌游戏，它具有独特的比牌规则。本文将通过Python语言实现升级版的带图形界面的诈金花游戏，需要的可以参考一下2022-12-12
这篇文章主要介绍了Python request使用方法及问题总结,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
本文将给大家介绍如何把Python对象存储为文件的方法,pickle可以用二进制表示并读写python数据,这个功能并不安全,如果把一个pickle暴露给别人,有被植入恶意程序的风险,文中通过代码给大家讲解的非常详细,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了Python中的 pass 占位语句，Python pass是空语句，是为了保持程序结构的完整性，下文具体的相关内容介绍需要的小伙伴可以参考一下2022-04-04
python 使用raw socket进行TCP SYN扫描实例
这篇文章主要介绍了python 使用raw socket进行TCP SYN扫描实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要介绍了Python自定义主从分布式架构,结合实例形式分析了主从分布式架构的结构、原理与具体的代码实现技巧,需要的朋友可以参考下2016-09-09
这篇文章主要为大家详细介绍了python3实现SMTP发送邮件的详细教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
最新评论