GELU激活函数算法
更新时间：2022年06月02日 11:28:05 作者：alwayschasing
这篇文章主要为大家介绍了GELU激活函数算法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
Gaussian Error Linerar Units(GELUS)
论文链接：https://arxiv.org/abs/1606.08415
最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。
不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ，这些激活函数都有自身的缺陷， sigmoid容易饱和，Elus与Relu缺乏随机因素。
在神经网络的建模过程中，模型很重要的性质就是非线性，同时为了模型泛化能力，需要加入随机正则，例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活)， 而随机正则与非线性激活是分开的两个事情， 而其实模型的输入是由非线性激活与随机正则两者共同决定的。
GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。
翻看bert源码给出的GELU代码表示如下：
def gelu(input_tensor): cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) return input_tesnsor*cdf
感觉bert源码中的近似计算更简单，具体怎么近似的，我猜不出来。
下面贴一些论文的实验图，就是证明GELU学习更快且更好：
以上就是GELU激活函数算法的详细内容，更多关于GELU激活函数的资料请关注脚本之家其它相关文章！
相关文章
今天小编就为大家分享一篇用python脚本24小时刷浏览器的访问量方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了python tkinter实现连连看游戏的示例,帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-11-11
一个建筑行业的堂哥为了搞一些商业数据前前后后花了1w，辣条我半个小时就能解决的事情，这就是技术的魅力！声明：爬取是的公开数据2021-10-10
这篇文章主要介绍了Python反射和内置方法重写,结合实例形式较为详细的分析了Python反射概念、原理及内置方法重写相关操作技巧与注意事项,需要的朋友可以参考下2018-08-08
本文参考了神庙逃亡，利用Pygame实现一个人躲避僵尸的小游戏，主要的是精灵、精灵组之间相撞、相交的处理，感兴趣的可以了解一下2022-05-05
今天小编就为大家分享一篇Python3处理HTTP请求的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
Python requests.post()方法中data和json参数的使用方法
这篇文章主要介绍了Python requests.post()方法中data和json参数的使用方法，文章围绕主题展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下2022-08-08
算法复杂度分为时间复杂度和空间复杂度，简单而讲时间复杂度指的是语句执行次数，空间复杂度指的是算法所占的存储空间，本文通过代码给大家介绍Python算法的时间复杂度和空间复杂度问题，感兴趣的朋友一起看看吧2019-11-11
本文主要介绍了django执行原生SQL查询的实现，主要有两种方法实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-08-08
这篇文章主要为大家详细介绍了python smtplib模块自动收发邮件功能的第二篇，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
最新评论