2. 卷积神经网络无法绕开的神——LeNet

卷积神经网络无法绕开的大神------LeNet

• [1. 基本架构](#1. 基本架构)
• [2. LeNet 5](#2. LeNet 5)
• [3. LeNet 5 代码](#3. LeNet 5 代码)

1. 基本架构

• 特征抽取模块
• 可学习的分类器模块

2. LeNet 5

• LeNet 5: 5 表示的是5个核心层，2个卷积层，3个全连接层.
• 核心权重层：卷积层、全连接层、循环层，Batchnorm / Dropout 这些都属于附属层。
• Convolutions, 32×32 → 28×28：卷积过后，图像像素损失了4个，是因为 kernal_size是5×5. 那个年代是不补零的。
• Subsampling: 亚采样，也叫池化层，池化一次，图像大小缩小一般，层数不变。
• 卷积负责把图像层数变得越来越多，池化负责把图像变得越来越小。最后使用全连接，输出类别。

3. LeNet 5 代码

import torch
from torch import nn


class ConvBlock(nn.Module):
    """
        一层卷积：
            - 卷积层
            - 批规范化层
            - 激活层
    """
    def __init__(self, in_channels, out_channels, 
                 kernel_size=3, stride=1, padding=1):
        super().__init__()
        self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels,
                             kernel_size=kernel_size, stride=stride,padding=padding)
        self.bn = nn.BatchNorm2d(num_features=out_channels)
        self.relu = nn.ReLU()
    
    def forward(self, x):
        x = self.conv(x)
        x = self.bn(x)
        x = self.relu(x)
        return x

class LeNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 1, 特征抽取部分
        self.feature_extractor = nn.Sequential(
            # 卷积层1
            ConvBlock(in_channels=1, 
                      out_channels=6, 
                      kernel_size=5,
                      stride=1,
                      padding=0),
            
            # 亚采样（池化）
            nn.MaxPool2d(kernel_size=2, stride=2, padding=0),
            
            # 卷积层2
            ConvBlock(in_channels=6, 
                      out_channels=16, 
                      kernel_size=5,
                      stride=1,
                      padding=0),
            
            # 亚采样（池化）
            nn.MaxPool2d(kernel_size=2, stride=2, padding=0),
            
        )
        
        # 2, 分类
        self.classifier = nn.Sequential(
            nn.Flatten(),
            nn.Linear(in_features=400, out_features=120),
            nn.ReLU(),
            nn.Linear(in_features=120, out_features=84),
            nn.ReLU(),
            nn.Linear(in_features=84, out_features=10)
        )
        
    def forward(self, x):
        # 1, 提取特征
        x = self.feature_extractor(x)
        # 2， 分类输出
        x = self.classifier(x)
        return x
    

if __name__ == "__main__":
    model = LeNet()
    print(model)
    x = torch.randn(1, 1, 32, 32)
    y = model(x)
    print(y.shape)