LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到[0,1]或[-1,1]这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
predawnlove2 分钟前
【NCCL】4 AllGather-PAT算法
算法·gpu·nccl
驱动探索者4 分钟前
[缩略语大全]之[内存管理]篇
java·网络·算法·内存管理
·云扬·30 分钟前
MySQL Join关联查询:从算法原理到实战优化
数据库·mysql·算法
bbq粉刷匠35 分钟前
二叉树中两个指定节点的最近公共祖先
java·算法
Alsn861 小时前
29.Java中常见加解密算法的基本实现
java·开发语言·算法
1001101_QIA1 小时前
OpenMP学习笔记
算法
Coovally AI模型快速验证1 小时前
YOLO11算法深度解析:四大工业场景实战,开源数据集助力AI质检落地
人工智能·神经网络·算法·计算机视觉·无人机
(❁´◡`❁)Jimmy(❁´◡`❁)1 小时前
【算法】 二分图理论知识和判断方法
c++·算法
徐子童1 小时前
优选算法---哈希表
数据结构·算法·哈希表
疑惑的杰瑞1 小时前
掌握 C 语言流程控制:分支、循环、goto 与表达式求值详解
c语言·开发语言·算法·算术转换