LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到0,1或-1,1这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
qq_348231852 小时前
大模型算法: 反向传播
算法
电科_银尘2 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
专注仿真3 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
leobertlan5 小时前
痛苦系列 | DSP-04 截断时空的“窗”:FIR 滤波器设计与线性相位
算法
秋天的怀念_David6 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
泯泷8 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
2601_967980119 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
漂流瓶jz11 小时前
UVA-1615 高速公路 题解答案代码 算法竞赛入门经典第二版
数据结构·算法·贪心算法·贪心·aoapc·算法竞赛入门经典·uva
凌冰_21 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程