技术栈
gelu
大千AI助手
1 个月前
人工智能
·
深度学习
·
神经网络
·
激活函数
·
正态分布
·
gelu
·
高斯误差线性单元
GELU（高斯误差线性单元）激活函数全面解析
本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
愤怒的可乐
2 年前
论文阅读
·
激活函数
·
gelu
[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)
今天来看一下GELU的原始论文。作者提出了GELU(Gaussian Error Linear Unit,高斯误差线性单元)非线性激活函数： GELU = x Φ ( x ) \text{GELU}= x\Phi(x) GELU=xΦ(x)，其中 Φ ( x ) \Phi(x) Φ(x)是标准高斯累积分布函数。与ReLU激活函数通过输入的符号进行门控不同，GELU非线性激活函数通过输入的数值进行加权。
我是有底线的