LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到[0,1]或[-1,1]这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
澈2073 小时前
C++并查集:高效解决连通性问题
java·c++·算法
旖-旎5 小时前
深搜练习(单词搜索)(12)
c++·算法·深度优先·力扣
企客宝CRM5 小时前
2026年中小企业CRM选型指南:企客宝CRM处于什么位置?
android·算法·企业微信·rxjava·crm
橙淮5 小时前
二叉树核心概念与Java实现详解
数据结构·算法
米罗篮6 小时前
DSU并查集 & 拓展欧几里得-逆元
c++·经验分享·笔记·算法·青少年编程
橙淮6 小时前
双指针法:高效算法解题的利器
算法
初心未改HD6 小时前
深度学习之MLP与反向传播算法详解
人工智能·深度学习·算法
刀法如飞6 小时前
【Go 字符串查找的 20 种实现方式,用不同思路解决问题】
人工智能·算法·go
技术小黑8 小时前
CNN算法实战系列03 | DenseNet121算法实战与解析
pytorch·深度学习·算法·cnn