LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到0,1-1,1这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
JAVA面经实录9175 小时前
Java 数据结构与算法 (终极完整学习文档)
java·数据结构·算法
开源Z7 小时前
LeetCode 42 · 接雨水:从暴力到双指针的三步优化
算法·leetcode
旖-旎7 小时前
《LeetCode 695 岛屿的最大面积 FloodFill DFS 解法》
c++·算法·力扣·深度优先遍历·floodfill
syagain_zsx7 小时前
STL 之 vector 讲练结合
c++·算法
MartinYeung59 小时前
[论文学习]DP2Unlearning:高效且具保证的大型语言模型遗忘框架(基于差分隐私的 LLM Unlearning 方法)
学习·算法·语言模型
Tian_Hang9 小时前
C++原型模式(Protype)
开发语言·c++·算法
bIo7lyA8v9 小时前
算法复杂度的渐进分析与实际运行时间的差异的技术8
算法
yuan1999710 小时前
欧拉梁静力与屈曲计算的 MATLAB 实现(有限差分法 + 解析解)
开发语言·算法·matlab
汉克老师11 小时前
GESP7级C++考试语法知识(二、指数函数(3、综合练习)
c++·算法·数学建模·指数函数·gesp7级·复利