pytorch-池化层

目录

• [1. pooling池化层](#1. pooling池化层)
• • [1.1 down sample](#1.1 down sample)
  • [2.2 Max pooling](#2.2 Max pooling)
  • [1.3 Avg pooling](#1.3 Avg pooling)
  • [1.3 pooling pytorch实现](#1.3 pooling pytorch实现)
• [2. up sample上采样](#2. up sample上采样)
• • [2.1 up sample](#2.1 up sample)
  • [2.2 pytorch实现](#2.2 pytorch实现)
• [3. ReLU](#3. ReLU)

1. pooling池化层

1.1 down sample

见下图，隔行隔列采样

2.2 Max pooling

下图采用2x2的filter，步长是2,找到每个窗口的最大值

1.3 Avg pooling

下图采用2x2的filter，步长是2,求每个窗口的平均值值

1.3 pooling pytorch实现

pooling在pytorch也有两种方法，一种是类方法nn.MaxPool2d，另一种是F.avg_pool2d

总结：池化层的作用就是下采样

2. up sample上采样

2.1 up sample

图像上采样类似下图

2.2 pytorch实现

上采样使用F.interpolate函数

scale_factor决定了上采样的倍数

mode参数是插值算法，具体见官方文档

3. ReLU

下图是ReLU前后的两张feature map

ReLu input>0时，out是个线性函数

input<0时，out = 0

从图中可以看出在ReLU的作用下，负值变为0

pytorch实现

ReLU在pytorch也有两种方法，一种是类方法nn.ReLU，另一种是F.relu