Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力

标签:Pytorch、transforms、数据增强、图像预处理、torchvision

简介:数据集数量有限时,很容易过拟合。数据增强在训练时动态对图片做随机变换,扩充样本多样性,让模型学到更鲁棒的特征。本文讲解常用增强算子、Compose组合、训练集/验证集预处理区分、实战代码。

一、前言

前面我们学习了BN、Dropout用来抑制过拟合,数据增强是CV任务里性价比最高的手段 。

核心思想:不需要手动新增图片,在每一轮读取图片的时候,随机对图像做变换,生成不一样的样本。

重点原则:训练集做随机增强;验证集、测试集只用固定预处理,不能随机变换!

验证集要保证评估标准稳定,不能每次拿到不一样的图片。

二、常用transforms增强算子分类

1. 几何变换(改变位置、形状)

python 复制代码
# 随机水平翻转,概率0.5
transforms.RandomHorizontalFlip(p=0.5)
# 随机垂直翻转
transforms.RandomVerticalFlip(p=0.5)
# 随机裁剪,先放大再裁剪到指定尺寸
transforms.RandomCrop(32, padding=4)
# 随机缩放+裁剪,非常常用
transforms.RandomResizedCrop(size=(224,224), scale=(0.8,1.0))
# 随机旋转
transforms.RandomRotation(degrees=15)

2. 色彩扰动(亮度、对比度、饱和度、色相)

python 复制代码
# 随机调整亮度、对比度、饱和度、色相
transforms.ColorJitter(
    brightness=0.2,
    contrast=0.2,
    saturation=0.2,
    hue=0.1
)

3. 基础固定预处理(训练、验证集通用)

python 复制代码
transforms.Resize((28,28))   # 固定缩放
transforms.ToTensor()        # PIL(HWC) → Tensor(CHW),像素0~255映射到0~1
transforms.Normalize(mean, std) # 归一化

mean、std是数据集统计值,MNIST、CIFAR、ImageNet都有固定均值方差,不要随便写0.5,0.5,0.5

4. 随机擦除 RandomErasing(遮挡增强)

随机抹掉图片一块区域,模拟遮挡,提升鲁棒性

python 复制代码
transforms.RandomErasing(p=0.5, scale=(0.02,0.1))

三、Compose:按顺序组合变换

transforms.Compose 接收一个列表,从左到右依次执行

⚠️ 顺序坑:

  1. 几何变换、色彩扰动 → 作用在PIL图片上,放ToTensor前面
  2. Normalize 只能作用在Tensor上,必须放在ToTensor之后

✅ 正确顺序模板:

随机增强 → Resize → ToTensor → Normalize

python 复制代码
# 训练集:带随机增强
train_transform = transforms.Compose([
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.RandomRotation(degrees=10),
    transforms.Resize((28,28)),
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

# 验证集:无随机增强,固定预处理
val_transform = transforms.Compose([
    transforms.Resize((28,28)),
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

四、实战:给MNIST加上数据增强

MNIST是手写数字,一般不做水平翻转(数字6、9翻转会变成别的数字!这里只是演示写法,实际MNIST慎用翻转)

python 复制代码
import torch
import torch.nn as nn
from torch.utils.data import DataLoader, random_split
from torchvision import datasets, transforms

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 区分训练、验证预处理
train_trans = transforms.Compose([
    transforms.RandomRotation(degrees=10),
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])
val_trans = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

# 注意:原始train=True数据集,我们手动拆分train/val,需要分别加载
# 方案:先加载原始数据,再拆分,但是transform不能分开;
# 更规范做法:使用Subset + 单独构造dataset
# 这里演示规范写法:
full_raw = datasets.MNIST(root="./data", train=True, download=True)
train_idx, val_idx = random_split(range(len(full_raw)), [int(0.8*len(full_raw)), len(full_raw)-int(0.8*len(full_raw))])

train_ds = datasets.MNIST(root="./data", train=True, transform=train_trans)
val_ds = datasets.MNIST(root="./data", train=True, transform=val_trans)
train_ds = torch.utils.data.Subset(train_ds, train_idx)
val_ds = torch.utils.data.Subset(val_ds, val_idx)

train_loader = DataLoader(train_ds, batch_size=64, shuffle=True)
val_loader = DataLoader(val_ds, batch_size=64, shuffle=False)

# 沿用之前带BN+Dropout的CNN
class MnistCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv_layers = nn.Sequential(
            nn.Conv2d(1, 16, 3, padding=1),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(2,2),
            nn.Conv2d(16, 32, 3, padding=1),
            nn.BatchNorm2d(32),
            nn.ReLU(),
            nn.MaxPool2d(2,2),
            nn.Dropout(0.25)
        )
        self.fc_layers = nn.Sequential(
            nn.Flatten(),
            nn.Linear(32*7*7,128),
            nn.ReLU(),
            nn.Dropout(0.5),
            nn.Linear(128,10)
        )
    def forward(self,x):
        return self.fc_layers(self.conv_layers(x))

model = MnistCNN().to(device)
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)

epoch_num = 10
best_acc = 0
for epoch in range(epoch_num):
    model.train()
    train_loss = 0
    for img, label in train_loader:
        img, label = img.to(device), label.to(device)
        out = model(img)
        loss = loss_fn(out, label)
        opt.zero_grad()
        loss.backward()
        opt.step()
        train_loss += loss.item()
    train_loss /= len(train_loader)

    model.eval()
    val_loss = 0
    correct = 0
    total = 0
    with torch.no_grad():
        for img, label in val_loader:
            img, label = img.to(device), label.to(device)
            out = model(img)
            loss = loss_fn(out, label)
            val_loss += loss.item()
            pred = torch.max(out,1)[1]
            correct += (pred == label).sum()
            total += label.size(0)
    val_loss /= len(val_loader)
    acc = correct.item() / total
    print(f"epoch:{epoch+1}, train_loss:{train_loss:.4f}, val_loss:{val_loss:.4f}, acc:{acc:.4f}")
    if acc > best_acc:
        best_acc = acc
        torch.save(model.state_dict(), "mnist_aug_best.pth")

五、进阶:RandomApply 随机组合增强

有些增强不想每次都触发,可以包一层RandomApply

python 复制代码
transforms.RandomApply([
    transforms.ColorJitter(0.2,0.2,0.2)
], p=0.6)

代表有60%概率执行里面的色彩扰动,40%不做变换。

六、高频踩坑汇总

  1. 验证集写了RandomHorizontalFlip、RandomRotation:评估结果不稳定,指标虚高
  2. Normalize放在ToTensor前面:报错,Normalize只能处理tensor
  3. 数据集特殊限制:数字识别、OCR任务不能随便翻转,6↔9、p↔q会混淆
  4. 均值方差直接抄ImageNet的3通道值,用在单通道灰度图:维度不匹配报错
  5. RandomResizedCrop容易把目标裁没,小目标检测慎用

七、数据增强的边界

增强不是越多越好:

  • 增强强度太大,图片失真,标签和图片不匹配,模型学不到有效特征
  • 增强是训练时在线动态生成,不会保存新图片,不占用磁盘空间
  • 工业界现在还有AutoAugment、RandAugment,自动搜索增强策略
相关推荐
十有八七44 分钟前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下1 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术1 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀1 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link1 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
阿里云大数据AI技术1 小时前
从“扫文件”到“找数据行”:EMR Serverless StarRocks 支持 Paimon Global Index
人工智能
武子康2 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
Seiran2 小时前
CPU 突然打满,罪魁祸首是条用了三年的正则
人工智能
mechanical_expert2 小时前
以SILVERTHIN SC047CP0为例计算等截面薄壁轴承摩擦损耗和启动扭矩
人工智能·机器人