技术栈

LN和BN

HRU_39122024-01-05 11:06

假设batch为2,(2,3,256,256)这样的样本

LN比较直观就是在每个独立的样本上计算均值和方差,然后归一化。(2,3,256,256)

归一化是将数据放缩到0,1或-1,1这样的区间内,标准化是让数据符合特定均值和方差的分布。

BN是按照一个batch中所有样本的通道计算均值和方差,它的计算单位是所有蓝色通道,所有黄色通道,所有红色通道。(2,3,256,256)

上一篇:前端中级算法题
下一篇:Text-to-SQL小白入门(十一)DAIL-SQL教你刷Spider榜单第一
相关推荐
地平线开发者
2 小时前
profiler debug 工具用法与高一致性策略
算法·自动驾驶
编程大师哥
2 小时前
匿名函数 lambda + 高阶函数
java·python·算法
我叫袁小陌
3 小时前
算法解题思路指南
算法
地平线开发者
3 小时前
Conv+BN+Add+ReLU 融合机制简介
算法·自动驾驶
yuanyuan2o2
3 小时前
模型预训练:Hugging Face Transformers 基础
算法·ai·语言模型·自然语言处理·nlp·深度优先
杨充
3 小时前
1.3 浮点型数据设计灵魂
开发语言·python·算法
妄想出头的工业炼药师
4 小时前
GS slam mono
算法·开源
_日拱一卒
4 小时前
LeetCode:207课程表
java·数据结构·算法·leetcode·职场和发展
用户98740923887
7 小时前
llamafactory 0.6.3 没有 llamafactory-cli
算法
热门推荐
01GitHub 镜像站点02【AI】2026 年具身智能模型和世界模型总结03【踩坑记录 | 第一篇】微软商店无法使用时,如何手动安装 OpenAI Codex?附`.msix`文件系统错误解决方法042026 年 AI 编程工具终极横评:Cursor vs Claude Code vs Copilot vs Windsurf05CC-Switch & Claude 基于 Linux 服务器安装使用指南06Codex 接入 DeepSeek API 完整配置文档07裂开!ChatGPT 居然开始要手机号验证,附详细解决方法08Codex 下载安装指南:Windows 和 macOS 官方版下载09几个好用的ip纯净度检测网站10DeepSeek V4 + Claude Code thinking mode 400 错误修复方案