一文读懂BatchNorm2d()函数的计算逻辑

1.简介

机器学习中,进行模型训练之前,需对数据做归一化处理,使其分布一致。在深度神经网络训练过程中,通常一次训练是一个batch,而非全体数据。每个batch具有不同的分布产生了internal covarivate shift问题------在训练过程中,数据分布会发生变化,对下一层网络的学习带来困难。Batch Normalization将数据规范到均值为0,方差为1的分布上,一方面使得数据分布一致,另一方面避免梯度消失。

2.计算

如图所示:

上为输入数据,其shape=5, 3, h, w

Step1: 计算同一通道下的均值,如图中的红色图块,均表示同一通道

Step2: 计算同一通道下的方差,如图中的红色图块,均表示同一通道

Step3: 对当前通道下的每个数据做归一化 其中的x表示具体的一个点,如x = X00000这个数据点。

Step4: 增加缩放和平移变量 γ \gamma γ和 β \beta β, 归一化后的值为

其中, ϵ \epsilon ϵ是一个设置的常量,默认为1e^-5,其作用是防止除0。 γ \gamma γ和 β \beta β这两个参数一般情况也不需要我们管(如果,参数affine=true, 就需要我们给定)。

3. Pytorch中的nn.BatchNorm2d()函数的解释

其主要需要输入4个参数:

(1)num_features:输入数据的shape一般为batch_size, channel, height, width, num_features为其中的channel;

(2)eps: 分母中添加的一个值,目的是为了计算的稳定性,默认:1e-5;

(3)momentum : 一个用于运行过程中均值和方差的一个估计参数,默认值为0.1.

(4)affine :当设为true时,给定可以学习的系数矩阵 γ \gamma γ和 β \beta β

4.代码示例:

scss 复制代码
import torch

data = torch.ones(size=(2, 2, 3, 4))
data[0][0][0][0] = 25
print("data = ", data)

print("\n")

print("=========================使用封装的BatchNorm2d()计算================================")
BN = torch.nn.BatchNorm2d(num_features=2, eps=0, momentum=0)
BN_data = BN(data)
print("BN_data = ", BN_data)

print("\n")

print("=========================自行计算================================")
x = torch.cat((data[0][0], data[1][0]), dim=1)      # 1.将同一通道进行拼接(即把同一通道当作一个整体)
x_mean = torch.Tensor.mean(x)                       # 2.计算同一通道所有制的均值(即拼接后的均值)
x_var = torch.Tensor.var(x, False)                  # 3.计算同一通道所有制的方差(即拼接后的方差)

# 4.使用第一个数按照公式来求BatchNorm后的值
bn_first = ((data[0][0][0][0] - x_mean) / ( torch.pow(x_var, 0.5))) * BN.weight[0] + BN.bias[0]
print("bn_first = ", bn_first)

运行结果:

(1)原数据

(2)使用BatchNorm()函数

(3)自行计算批归一化的值 图中标红的两个框数据完全相等,完结撒花!!!

注: 有借鉴该篇文章

相关推荐
电科_银尘6 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴9 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David9 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi12 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK12 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
上海潭龙东海科技有限公司14 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师16 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户73416810354816 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi17 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂18 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛