假设batch为2，（2，3，256，256）这样的样本
LN比较直观就是在每个独立的样本上计算均值和方差，然后归一化。（2，3，256，256）
归一化是将数据放缩到0,1或-1,1这样的区间内，标准化是让数据符合特定均值和方差的分布。
BN是按照一个batch中所有样本的通道计算均值和方差，它的计算单位是所有蓝色通道，所有黄色通道，所有红色通道。（2，3，256，256）
相关推荐
?abc!4 分钟前
（数组）448. 找到所有数组中消失的数字淡海水6 分钟前
05-03-源码-Boehm GC分配与碎片管理青少儿编程课堂23 分钟前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C/C++考级：任意进制互转与大数多进制加法解析多弗朗皮卡丘42 分钟前
C++ 哈希（下）aichitang20241 小时前
Meta Muse Spark Open：816B 巨型开放权重多模态 Agent 模型架构、部署实战与社区首测全解Coder-magician1 小时前
图论总结篇有同事要进步2 小时前
Leecode第68题：x的平方根吹什么轩2 小时前
linux系统复习：进程优先级与O(1)调度开开心心就好2 小时前
安卓PDF处理工具，免费无广告零弹窗zyl76518 小时前
FlashAttention 详解：从 GPU 硬件、普通 Attention 到分块计算与 Online Softmax