反向传播BP学习算法Gradient Descent的推导过程
BP算法是适用于多层神经网络的一种算法，它是建立在梯度下降法的基础上的。本文着重推导怎样利用梯度下降法来minimise Loss Function。
给出多层神经网络的示意图：
1.定义Loss Function
每一个输出都对应一个损失函数L，将所有L加起来就是total loss。
那么每一个L该如何定义呢？这里还是采用了交叉熵，如下所示：
最终Total Loss的表达式如下：
2.Gradient Descent
L对应了一个参数，即Network parameters θ(w1,w2…b1,b2…)，那么Gradient Descent就是求出参数 θ∗来minimise Loss Function，即：
梯度下降的具体步骤为：
3.求偏微分
从上图可以看出，这里难点主要是求偏微分，由于L是所有损失之和，因此我们只需要对其中一个损失求偏微分，最后再求和即可。
先抽取一个简单的神经元来解释：
因为我们并不知道后面到底有多少层，也不知道情况到底有多复杂，我们不妨先取一种最简单的情况，如下所示：
4.反向传播
l对两个z的偏导我们假设是已知的，并且在这里是作为输入，三角形结构可以理解为一个乘法运算电路，其放大系数为 σ′(z)。但是在实际情况中，l对两个z的偏导是未知的。假设神经网络最终的结构就是如上图所示，那么我们的问题已经解决了：
其中：
但是假如该神经元不是最后一层，我们又该如何呢？比如又多了一层，如下所示：
原理跟上面类似，如下所示：
那假设我们再加一层呢？再加两层呢？再加三层呢？。。。，情况还是一样的，还是先求l对最后一层z的导数，乘以权重相加后最后再乘上 σ′(z′′,z′′′,...)即可。
最后给一个实例：
它的反向传播图长这样：
我们不难发现，这种计算方式很清楚明了地体现了“反向传播”四个字。好了，目标达成！！
5.总结
以上就是反向传播BP学习算法-Gradient Descent的推导过程的详细内容，更多关于BP反向传播Gradient Descent推导的资料请关注脚本之家其它相关文章！
相关文章
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读2011-10-10
这篇文章主要介绍了gitlab分支合并冲突的处理过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
Visual Studio Code (VSCode)是一款功能强大的开源代码编辑器,免费开源,本文将分享一些常用的VSCode小技巧,帮助你提升开发效率和编程体验,专注于业务逻辑的开发,无论是文件导航、代码编辑、调试还是终端操作,VSCode 都能提供非常丰富的功能,帮助你快速构建高质量的应用2025-02-02
在微信小程序开发过程中需要在小程序里使用SVG矢量图标,下面为大家分享2种在微信小程序中引入SVG矢量图标的方法2018-10-10
我们先分析下请求头，看看每次请求都带了那些额外的数据.下面是监控的google的请求头2010-05-05
这篇文章主要给大家介绍了关于VS Code快速生成html(头部)模板的相关资料,为了避免简单的重复劳动,借助VSCODE 快速生成文件头部,在项目搭建中体验非常舒适,需要的朋友可以参考下2023-11-11
这篇文章主要介绍了GitLab: 如何使用外部提供的Redis缓存数据库,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-09-09
不知有多少朋友遇到此类问题：在PS里处理好的图，发到论论坛上以后发现图片颜色大变，变得灰蒙蒙，失去了层次，色彩生硬，还有点发青2014-05-05
IDEA2019.3在Plugins中搜索不到translation的解决
这篇文章主要介绍了IDEA2019.3在Plugins中搜索不到translation的解决，文中通过图文的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
这篇文章主要介绍了idea+git合并分支解决冲突及详解步骤,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
最新评论