层归一化

从一条直线到大模型输出一个token（五）：Transformer Block 全景与层归一化建议先看：从一条直线到大模型输出一个token（四）：位置编码 RoPE上一篇末尾留了个悬念：「苹果」在"我吃了一个苹果"里是水果，在"苹果发布新手机"里是公司——同一个 token，含义要靠旁边的词决定。从这一篇开始，我们正式走进 Transformer 大厦，看词和词怎么"发生关系"。

深度学习中的四种归一化方法假设某批次数据样本N*C*H*W批量归一化的操作是沿着批次N方向，对整个批次的所有样本的同一通道，进行归一化处理。

我是有底线的