python人工智能tensorflow常用激活函数Activation Functions
更新时间：2022年05月05日 11:45:54 作者：Bubbliiiing
这篇文章主要为大家介绍了python人工智能tensorflow常用激活函数Activation Functions的汇总介绍，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
前言
激活函数在机器学习中常常用在神经网络隐含层节点与神经网络的输出层节点上，激活函数的作用是赋予神经网络更多的非线性因素，如果不用激励函数，输出都是输入的线性组合，这种情况与最原始的感知机相当，网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激活函数，这样神经网络逼近能力就能够更加强大。
哦豁，激活函数那么厉害，那常见的激活函数有什么呢？感觉还挺多的。
常见的激活函数种类及其图像
1 sigmoid(logsig)函数
特点：sigmoid函数函数在不同的地方表达方式不同，常用的名称就是sigmoid和logsig，它能够把输入的连续实值变换为0和1之间的输出，如果输入是特别大的负数，则输出为0，如果输入是特别大的正数，则输出为1。
缺点：
- 在深度神经网络中，容易导致梯度爆炸和梯度消失；
- 幂函数运算较慢；
- 不是0均值。
其计算公式为：
其图像如下所示。
2 tanh函数
特点：它能够把输入的连续实值变换为-1和1之间的输出，如果输入是特别大的负数，则输出为-1，如果输入是特别大的正数，则输出为1；
解决了Sigmoid函数的不是0均值的问题。
缺点：梯度消失的问题和幂运算的问题仍然存在。
其计算公式为：
其图像如下所示。
3 relu函数
特点：解决了梯度消失的问题；计算速度非常快，只需要判断输入是否大于0；
收敛速度远快于sigmoid和tanh两个函数。
缺点：不是0均值。
其计算公式为：
其图像如下所示
4 softplus函数
特点：softplus函数相当于平滑版的relu函数。
缺点：不是0均值。
其计算公式为：
其图像如下所示（与relu函数对比）。
tensorflow中损失函数的表达
1 sigmoid(logsig)函数
tf.nn.sigmoid(x, name=None)
2 tanh函数
tf.nn.tanh(x, name=None)
3 relu函数
tf.nn.relu(features, name=None) tf.nn.relu6(features, name=None) #relu6相对于普通relu更容易学习到稀疏特征。
4 softplus函数
tf.nn.softplus(features, name=None)
以上就是python人工智能tensorflow常用激活函数Activation Functions的详细内容，更多关于tensorflow激活函数的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了教你怎么用python绘制dotplot,文中有非常详细的代码示例,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下2021-04-04
利用python中pymysql操作MySQL数据库的新手指南
PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,Python2中是使用mysqldb,这篇文章主要给大家介绍了关于利用python中pymysql操作MySQL数据库的相关资料,需要的朋友可以参考下2021-09-09
大家好，本篇文章主要讲的是Python中如何处理常见报错，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了Python实现获取磁盘剩余空间的2种方法,结合具体实例形式分析了Python操作计算机硬件的相关实现技巧,需要的朋友可以参考下2017-06-06
下面小编就为大家带来一篇python基本语法练习实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-09-09
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别（取+1和-1二值）。本文将为大家详细讲讲感知机算法的原理及实现，需要的可以参考一下2022-08-08
这篇文章主要给大家介绍了利用numpy+matplotlib绘图的基本操作，文中介绍的非常详细，对大家学习matplotlib绘图具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧。2017-05-05
在实际处理数据业务需求中,我们经常会遇到这样的需求,将多个表连接起来再进行数据的处理和分析,类似SQL中的连接查询功能,下面这篇文章主要给大家介绍了关于python pandas数据处理教程之合并与拼接的相关资料,需要的朋友可以参考下2022-02-02
本文主要介绍了Pandas格式化DataFrame的浮点数列的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-05-05
这篇文章主要介绍了Python读取MRI并显示为灰度图像实例代码，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
最新评论