GELU激活函数算法
更新时间：2022年06月02日 11:28:05 作者：alwayschasing
这篇文章主要为大家介绍了GELU激活函数算法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
Gaussian Error Linerar Units(GELUS)
论文链接：https://arxiv.org/abs/1606.08415
最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。
不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ，这些激活函数都有自身的缺陷， sigmoid容易饱和，Elus与Relu缺乏随机因素。
在神经网络的建模过程中，模型很重要的性质就是非线性，同时为了模型泛化能力，需要加入随机正则，例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活)， 而随机正则与非线性激活是分开的两个事情， 而其实模型的输入是由非线性激活与随机正则两者共同决定的。
GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。
翻看bert源码给出的GELU代码表示如下：
def gelu(input_tensor): cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) return input_tesnsor*cdf
感觉bert源码中的近似计算更简单，具体怎么近似的，我猜不出来。
下面贴一些论文的实验图，就是证明GELU学习更快且更好：
以上就是GELU激活函数算法的详细内容，更多关于GELU激活函数的资料请关注脚本之家其它相关文章！
相关文章
Python3 shutil（高级文件操作模块）实例用法总结
在本篇文章里小编给大家整理的是一篇关于Python3 shutil实例用法内容，有兴趣的朋友们可以学习下。2020-02-02
这篇文章主为大家要介绍了Python3.10接入ChatGPT实现逐句回答流式返回示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
Django是一个开放源代码的Web应用框架，由Python写成。这篇文章给大家介绍django中Template语言，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧2020-02-02
这篇文章主要介绍了numpy库reshape用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
在本篇文章里小编给大家整理了一篇关于python模型集成知识点总结，有需要的朋友们可以学习参考下。2021-08-08
这篇文章主要介绍了Python批量裁剪图片的程序代码，是批量裁剪某一文件夹下的所有图片，并指定裁剪宽高，本文给大家分享实现思路,需要的朋友可以参考下2022-07-07
今天小编就为大家分享一篇pycharm 取消默认的右击运行unittest的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
本文主要介绍了Python中GPU计算的库pycuda的使用,详细介绍了PyCUDA 库的特性、用法,并通过丰富的示例代码展示其在实际项目中的应用,感兴趣的可以了解一下2024-05-05
本文通过实例代码给大家详细介绍了python 二分查找和快速排序,的相关知识，需要的朋友可以参考下2017-10-10
今天小编就为大家分享一篇关于python之字典的嵌套,递归调用方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
最新评论