LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到0,1或-1,1这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
夕除4 分钟前
redis--dict rehash
算法·哈希算法
云上先途119 分钟前
Agent 轨迹数据一般包含哪些内容,加工的核心目标是什么?
人工智能·算法·机器学习
佳木逢钺1 小时前
从火灾模拟到系统热寂:一个双非运维如何用零 GPU 推导出多智能体系统的终极死锁
人工智能·python·算法·多智能体
垆边人似月.1 小时前
网格最小代价路径,总代价不超过 budget
算法
虚无的纽扣1 小时前
【力扣刷题】第五天:将 x 减到 0 的最小操作数、最大连续1的个数 III
算法·leetcode·职场和发展
C++ 老炮儿的技术栈1 小时前
char 造成的数据溢出
linux·服务器·c语言·c++·算法·c
sqc233sqc1 小时前
第 J8 周:ResNeXt-50 算法解析
人工智能·算法
hanlin0311 小时前
刷题笔记:力扣第32题-最长有效括号
笔记·算法·leetcode
All for pursuit.11 小时前
【动态规划-21】312.戳气球
数据结构·c++·算法·leetcode·动态规划
碧海银沙音频科技研究院14 小时前
基于炬芯ATS3089X自研AEC声学回声消除算法
算法