从0开始深度学习(24)——填充和步幅

1 填充

在上一节中,我们的卷积步骤如下:

可以发现输入是 3 × 3 3\times3 3×3,输出是 2 × 2 2\times2 2×2,这样可能会导致原始图像的边界丢失了许多有用信息,如果应用多层卷积核,累积丢失的像素就更多了,为了解决这个问题,可以采用填充方法

填充(padding):在输入图像的边界填充元素(通常填充元素是0)

例如我们对下面的输入图像进行填充,形状由 3 × 3 3\times3 3×3变为 5 × 5 5\times5 5×5,这样它的输入会变成 4 × 4 4\times4 4×4:

通常,如果我们添加 p h p_{h} ph 行填充(大约一半在顶部,一半在底部)和 p h p_{h} ph 列填充(左侧大约一半,右侧一半),则输出形状将为:
( n h − k h + p h + 1 ) × ( n w − k w + p w + 1 ) 。 (n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)。 (nh−kh+ph+1)×(nw−kw+pw+1)。

即意味着输出的高度和宽度将分别增加 p h p_{h} ph 和 p h p_{h} ph 。

在许多情况下,我们需要设置 p h = k h − 1 p_h=k_h-1 ph=kh−1 和 p w = k w − 1 p_w=k_w-1 pw=kw−1 ,使输入和输出具有相同的高度和宽度, 这样可以在构建网络时更容易地预测每个图层的输出形状

  • 如果 k h k_h kh 是奇数,我们将在高度的两侧填充 p h / 2 p_h/2 ph/2 行,宽度同理。
  • 如果 k h k_h kh 是偶数,则一种可能性是在输入顶部填充 ⌈ p h / 2 ⌉ \lceil p_h/2\rceil ⌈ph/2⌉ 行,在底部填充 ⌊ p h / 2 ⌋ \lfloor p_h/2\rfloor ⌊ph/2⌋ 行,宽度同理。

卷积神经网络中卷积核的高度和宽度通常为奇数,例如1、3、5或7。 这样保持空间维度的同时,我们可以在顶部和底部填充相同数量的行,在左侧和右侧填充相同数量的列。下面的例子展示了填充后和不填充两种情况下,经过 3 × 3 3\times3 3×3卷积核做卷积操作后的输入图像形状

python 复制代码
import torch
from torch import nn

def comp_covn2d(conv2d,x):
    # 因为通常卷积层的输入是多通道的图像,
    x=x.reshape((1,1)+x.shape)
    y=conv2d(x)
    return y.reshape(y.shape[2:])# 去掉前两个维度(batch_size和num_channels),只关心卷积后的特征图的高度和宽度。

conv2d_padding=nn.Conv2d(1,1,kernel_size=3,padding=1)
conv2d=nn.Conv2d(1,1,kernel_size=3)

x=torch.rand(size=(8,8))

print("padding:",comp_covn2d(conv2d_padding,x).shape)
print("nopadding:",comp_covn2d(conv2d,x).shape)

运行结果

当卷积核的高度和宽度不同时,我们可以填充不同的高度和宽度,使输出和输入具有相同的高度和宽度。在如下示例中,我们使用高度为5,宽度为3的卷积核,高度和宽度两边的填充分别为2和1。

python 复制代码
conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

运行结果

2 步幅

有时,我们可能希望大幅降低图像的宽度和高度。例如,如果我们发现原始的输入分辨率十分冗余,则可以使用步幅概念,快速的降低输出的维数

在计算互相关时,卷积窗口从输入张量的左上角开始,向下、向右滑动。 在前面的例子中,我们默认每次滑动一个元素。但是,有时候为了高效计算或是缩减采样次数,卷积窗口可以跳过中间位置,每次滑动多个元素。

将每次滑动元素的数量称为步幅(stride),下面是在上面例子中,使用垂直步幅为3,水平步幅为2进行卷积操作

通常,当垂直步幅为 s h s_h sh 、水平步幅为 s w s_{w} sw 时,输出形状为 ⌊ ( n h − k h + p h + s h ) / s h ⌋ × ⌊ ( n w − k w + p w + s w ) / s w ⌋ . \lfloor(n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor(n_w-k_w+p_w+s_w)/s_w\rfloor. ⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.

如果我们设置了 p h = k h − 1 p_h=k_h-1 ph=kh−1 和 p h = k h − 1 p_h=k_h-1 ph=kh−1,则输出形状将简化为 ⌊ ( n h + s h − 1 ) / s h ⌋ × ⌊ ( n w + s w − 1 ) / s w ⌋ \lfloor(n_h+s_h-1)/s_h\rfloor \times \lfloor(n_w+s_w-1)/s_w\rfloor ⌊(nh+sh−1)/sh⌋×⌊(nw+sw−1)/sw⌋

如果输入的高度和宽度可以被垂直和水平步幅整除,则输出形状将为 ( n h / s h ) × ( n w / s w ) (n_h/s_h) \times (n_w/s_w) (nh/sh)×(nw/sw)

我们将高度和宽度的步幅设置为2,从而将输入的高度和宽度减半。

python 复制代码
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, x).shape

运行结果

相关推荐
sp_fyf_20241 小时前
【大语言模型】ACL2024论文-35 WAV2GLOSS:从语音生成插值注解文本
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·数据挖掘
AITIME论道1 小时前
论文解读 | EMNLP2024 一种用于大语言模型版本更新的学习率路径切换训练范式
人工智能·深度学习·学习·机器学习·语言模型
明明真系叻2 小时前
第二十六周机器学习笔记:PINN求正反解求PDE文献阅读——正问题
人工智能·笔记·深度学习·机器学习·1024程序员节
XianxinMao2 小时前
Transformer 架构对比:Dense、MoE 与 Hybrid-MoE 的优劣分析
深度学习·架构·transformer
88号技师3 小时前
2024年12月一区SCI-加权平均优化算法Weighted average algorithm-附Matlab免费代码
人工智能·算法·matlab·优化算法
IT猿手3 小时前
多目标应用(一):多目标麋鹿优化算法(MOEHO)求解10个工程应用,提供完整MATLAB代码
开发语言·人工智能·算法·机器学习·matlab
88号技师3 小时前
几款性能优秀的差分进化算法DE(SaDE、JADE,SHADE,LSHADE、LSHADE_SPACMA、LSHADE_EpSin)-附Matlab免费代码
开发语言·人工智能·算法·matlab·优化算法
2301_764441333 小时前
基于python语音启动电脑应用程序
人工智能·语音识别
HyperAI超神经4 小时前
未来具身智能的触觉革命!TactEdge传感器让机器人具备精细触觉感知,实现织物缺陷检测、灵巧操作控制
人工智能·深度学习·机器人·触觉传感器·中国地质大学·机器人智能感知·具身触觉
galileo20164 小时前
转化为MarkDown
人工智能