LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到[0,1]或[-1,1]这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
前端摸鱼匠19 小时前
【AI大模型春招面试题11】什么是模型的“涌现能力”(Emergent Ability)?出现条件是什么?
人工智能·算法·ai·自然语言处理·面试·职场和发展
MORE_7719 小时前
leecode-合并区间-贪心算法
算法·贪心算法
2401_8732046519 小时前
分布式系统安全通信
开发语言·c++·算法
sw12138920 小时前
C++中的代理模式实战
开发语言·c++·算法
ballball~~21 小时前
ISP-CCM(Color Correction Matrix)
图像处理·数码相机·算法
Sunshine for you21 小时前
实时操作系统中的C++
开发语言·c++·算法
中科院提名者21 小时前
BPE 算法的硬核拆解——理解词表(Vocabulary)是如何从零训练出来的,以及字符串是如何被切碎的
算法
「QT(C++)开发工程师」1 天前
C++11三大核心特性深度解析:类型特征、时间库与原子操作
java·c++·算法
乐分启航1 天前
SliMamba:十余K参数量刷新SOTA!高光谱分类的“降维打击“来了
java·人工智能·深度学习·算法·机器学习·分类·数据挖掘
你真是饿了1 天前
算法专题二:滑动窗口
算法