LN和BN

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到[0,1]或[-1,1]这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

相关推荐
DO_Community2 分钟前
技术解码:Character.ai 如何实现大模型实时推理性能 2 倍提升
人工智能·算法·llm·aigc·moe·aiter
leo__5204 分钟前
基于A星算法的MATLAB路径规划实现
人工智能·算法·matlab
程序员-King.12 分钟前
day152—回溯—电话号码的字母组合(LeetCode-17)
算法·leetcode·深度优先·递归
wm104315 分钟前
代码随想录 第六天
数据结构·算法
I Promise3417 分钟前
计算机常用算法在工程中的全面应用
算法
LDG_AGI20 分钟前
【机器学习】深度学习推荐系统(三十):X 推荐算法Phoenix rerank机制
人工智能·分布式·深度学习·算法·机器学习·推荐算法
皮蛋sol周25 分钟前
嵌入式学习数据结构(三)栈 链式 循环队列
arm开发·数据结构·学习·算法··循环队列·链式队列
devnullcoffee30 分钟前
2026年Amazon Listing优化完全指南:COSMO算法与Rufus AI技术解析
人工智能·python·算法·亚马逊运营·amazon listing·cosmo算法·rufus ai技术
苦藤新鸡43 分钟前
19.旋转输出矩阵
c++·算法·leetcode·力扣
zsffuture44 分钟前
RKNN 8位量化全解析:算法差异与粒度选择实战指南
算法