gelu

愤怒的可乐7 个月前
论文阅读·激活函数·gelu
[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)今天来看一下GELU的原始论文。作者提出了GELU(Gaussian Error Linear Unit,高斯误差线性单元)非线性激活函数： GELU = x Φ ( x ) \text{GELU}= x\Phi(x) GELU=xΦ(x)，其中 Φ ( x ) \Phi(x) Φ(x)是标准高斯累积分布函数。与ReLU激活函数通过输入的符号进行门控不同，GELU非线性激活函数通过输入的数值进行加权。