技术栈

residual

西西弗Sisyphus
21 天前
transformer·attention·unsqueeze·self-attention·残差·residual·squeeze
从零实现Transformer:第 4 部分 - Residual Connection的两种实现 Pre-LN 和 Post-LNflyfishPre-LN = Pre-Layer Normalization Post-LN = Post-Layer Normalization
搬砖的阿wei
1 年前
深度学习·residual·skip connection
跳跃连接(Skip Connection)与残差连接(Residual Connection)跳跃连接是一种在深度神经网络中广泛应用的技术,它允许信息在网络中跨层直接传递。在传统的神经网络里,每一层的输出仅仅是前一层输出经过特定变换后的结果。而在具备跳跃连接的网络中,某一层的输出不仅能够包含前一层的变换结果,还可以直接包含更早层的输出。
我是有底线的