基于PyTorch的深度学习——迁移学习1

声明一下内容来源于基于PyTorch的深度学习

迁移学习是一种机器学习方法，简单来说，就是把任务A开发的模型作为初始点，重新使用在任务B中，比如，A任务可以是识别图像中车辆，而B任务可以是识别卡车、识别轿车、识别公交车等

在神经网络迁移学习中，主要有两个应用场景：特征提取和微调。

• 特征提取(Feature Extraction)：冻结除最终完全连接层之外的所有网络的权重。最后一个全连接层被替换为具有随机权重的新层，并且仅训练该层。

• 微调(Fine Tuning)：使用预训练网络初始化网络，而不是随机初始化。用新数据训练部分或整个网络。

先来讲特征提取部分

python 复制代码

import torchvision.models as models

resnet18 = models.resnet18()
alexnet = models.alexnet()
vgg16 = models.vgg16()

模型结构被创建 ，但所有参数（权重）是随机初始化的。
相当于从零开始训练一个新模型（scratch training）。
适用于：
- 你不打算用迁移学习；
- 或你有大量自有数据，想完全重新训练；
- 或只是做模型结构测试。

如果要获取预训练模型应该这么做

python 复制代码

resnet18 = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1)
alexnet = models.alexnet(weights=models.AlexNet_Weights.IMAGENET1K_V1)
vgg16 = models.vgg16(weights=models.VGG16_Weights.IMAGENET1K_V1)

不仅创建了模型结构，还自动下载并加载了在 ImageNet 数据集上训练好的权重。
这些权重是官方提供的、经过充分训练的高质量参数。
模型开箱即用 ，可直接用于：
- 图像分类推理（对自然图像效果很好）；
- 迁移学习（如特征提取或微调）。

✅ 这是迁移学习的标准起点。

注意，有的模型训练和测试阶段用到了不同的模块，比如说batch normalization， dropout层等。使用model.train()或model.eval()可以切换到相应的模式。

所有的预训练模型都要求输入图片以相同的方式进行标准化，即：小批(Mini-Batch)3通道RGB格式(3×H×W)，其中H和W应小于224。图片加载时像素值的范围应在 $0,1$ 内，然后通过指定mean= $0.485,0.456,0.406$ 和std= $0.229,0.224,0.225$ 进行标准化，例如：

python 复制代码

normalize = transforms.Normalize(mean=[0.485,0.456,0.406]
                                 std=[0.229,0.224,0.225])

如何冻结某些层？

如果需要冻结最后一层之外的所有层，设置requires_grad==False, 反向传播中不计算梯度了。

python 复制代码

model = torchvision.models.resnet18(pretrained=True)
# 冻结所有参数
for param in resnet18.parameters():
    param.requires_grad = False

# 替换最后的分类层（适配自己的任务，比如 10 类）
resnet18.fc = torch.nn.Linear(resnet18.fc.in_features, 10)