DAY 38

一、图像数据核心概念（对比结构化数据）

1.1 灰度图像（MNIST数据集）

此前学习的表格结构化数据，维度格式为 (样本数, 特征数)，是一维特征结构；而图像数据需要保留空间位置信息（高度、宽度），维度格式完全不同。

MNIST数据集核心特征：手写数字灰度图像，尺寸统一 28×28 像素，单通道。

PyTorch 图像维度规则（Channel First）：(通道数, 高度, 宽度)

维度索引	维度含义	MNIST数值说明
0	通道数（Channels）	1，单通道灰度图，无色彩信息
1	高度（Height）	28，图像垂直像素数
2	宽度（Width）	28，图像水平像素数

完整预处理&可视化代码

import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader , Dataset from torchvision import datasets, transforms import matplotlib.pyplot as plt import numpy as np # 设置随机种子，结果可复现 torch.manual_seed(42) # 图像预处理流水线：归一化+标准化 transform = transforms.Compose([ transforms.ToTensor(), # 转为张量，像素值归一至[0,1]，转为float32 transforms.Normalize((0.1307,), (0.3081,)) # MNIST专属均值、标准差 ]) # 加载数据集 train_dataset = datasets.MNIST( root='./data', train=True, download=True, transform=transform ) test_dataset = datasets.MNIST( root='./data', train=False, transform=transform ) # 随机采样单张图像 sample_idx = torch.randint(0, len(train_dataset), size=(1,)).item() image, label = train_dataset[sample_idx] print(f"图像形状: {image.shape}") # torch.Size([1, 28, 28]) print(f"图像标签: {label}") # 图像可视化（反标准化） def imshow(img): img = img * 0.3081 + 0.1307 # 还原原始像素范围 npimg = img.numpy() plt.imshow(npimg[0], cmap='gray') plt.show() imshow(image)

1.2 彩色图像（CIFAR-10数据集）

彩色图像为RGB三通道，通道数=3，CIFAR-10图像尺寸为 32×32，维度格式 (3, 32, 32)。

核心维度差异（重点）

• PyTorch：Channel First (C, H, W)（模型输入标准格式）

• Matplotlib/NumPy：Channel Last (H, W, C)（可视化必须转换）

彩色图像加载&可视化代码

import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import numpy as np torch.manual_seed(42) # 数据预处理 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) # 加载CIFAR10数据集 trainset = torchvision.datasets.CIFAR10( root='./data', train=True, download=True, transform=transform ) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True) classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') # 采样可视化 sample_idx = torch.randint(0, len(trainset), size=(1,)).item() image, label = trainset[sample_idx] print(f"图像形状: {image.shape}") # torch.Size([3, 32, 32]) print(f"图像类别: {classes[label]}") # 彩色图像可视化（维度转换） def imshow(img): img = img / 2 + 0.5 # 反标准化 npimg = img.numpy() plt.imshow(np.transpose(npimg, (1, 2, 0))) # C,H,W → H,W,C plt.axis('off') plt.show() imshow(image)

1.3 批次维度补充

模型批量输入数据时，会新增 batch_size 维度，最终输入格式：(batch_size, C, H, W)

示例：64张MNIST图像批量输入 → 维度 (64, 1, 28, 28)

二、图像适配MLP神经网络模型

MLP全连接网络仅支持一维向量输入 ，因此图像输入前必须做展平操作，这是图像MLP与结构化数据MLP的核心区别。

2.1 灰度图像（MNIST）MLP模型

展平规则：(1,28,28) → 一维784维向量

import torch.nn as nn from torchsummary import summary # 定义MLP模型 class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.flatten = nn.Flatten() # 图像展平层 self.layer1 = nn.Linear(784, 128) self.relu = nn.ReLU() self.layer2 = nn.Linear(128, 10) def forward(self, x): x = self.flatten(x) # [batch,1,28,28] → [batch,784] x = self.layer1(x) x = self.relu(x) x = self.layer2(x) return x # 模型初始化 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = MLP().to(device) # 查看模型结构 print("MNIST-MLP模型结构：") summary(model, input_size=(1, 28, 28))

模型参数计算

• 第一层：784×128权重 + 128偏置 = 100480

• 第二层：128×10权重 + 10偏置 = 1290

• 总参数：101770

2.2 彩色图像（CIFAR10）MLP模型

展平规则：(3,32,32) → 3072维向量

import torch.nn as nn from torchsummary import summary class MLP(nn.Module): def __init__(self, input_size=3072, hidden_size=128, num_classes=10): super(MLP, self).__init__() self.flatten = nn.Flatten() self.fc1 = nn.Linear(input_size, hidden_size) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_size, num_classes) def forward(self, x): x = self.flatten(x) # [batch,3,32,32] → [batch,3072] x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = MLP().to(device) print("CIFAR10-MLP模型结构：") summary(model, input_size=(3, 32, 32))

模型参数计算

• 第一层：3072×128权重 + 128偏置 = 393344

• 第二层：128×10权重 + 10偏置 = 1290

• 总参数：394634

2.3 BatchSize与模型定义的核心关系

核心结论：模型结构定义与BatchSize完全无关

组件	是否关联BatchSize	说明
模型类定义	❌ 无关	网络结构只定义单样本维度
torchsummary	❌ 无关	input_size仅填写(C,H,W)，无batch维度
DataLoader	✅ 相关	唯一设置batch_size的位置
训练循环	✅ 相关	自动批量输入数据

补充：DataLoader默认 batch_size=1，代表单次输入1个样本，≠ 全数据集训练！

三、显存占用详解与CUDA OOM解决方案

3.1 显存占用四大核心组成

深度学习训练显存溢出（OOM）的根本原因：显存资源不足以承载训练全量开销，显存占用由四部分组成：

1. 模型参数+梯度：float32参数单值占4字节，梯度与参数数量一致，占用显存翻倍

2. 优化器状态：SGD无额外开销；Adam存储动量、梯度平方，显存开销翻倍

3. 批量数据张量：batch_size越大，图像数据显存占用越高

4. 传播中间变量：前向/反向传播的中间激活值，随batch_size增大递增

3.2 数据类型显存占用规则

数据类型	位数	字节	适用场景
uint8	8bit	1Byte	原始图像像素（0-255）
float32	32bit	4Byte	模型训练张量（默认）
float64	64bit	8Byte	高精度计算（极少用）

示例：单张MNIST图像，uint8仅0.766KB，转为float32后升至3.06KB，显存占用大幅提升。

3.3 BatchSize对显存的影响（MNIST-MLP实测）

BatchSize	数据显存占用	中间变量占用	总显存占用
64	192KB	32KB	≈1MB
256	768KB	128KB	≈1.7MB
1024	3MB	512KB	≈4.5MB
4096	12MB	2MB	≈15MB

3.4 BatchSize调优原则

优势（大BatchSize）

• 最大化GPU并行计算能力，大幅缩短训练时间

• 批量梯度取平均，抵消单样本噪声，训练更稳定、波动更小

实操调优方案

1. 初始值从16开始递增测试，逐步放大

2. 临界值：出现OOM报错前的最大值，预留20%显存安全余量

3. 实时监控：watch -n 0.5 nvidia-smi 查看显存占用

4. 最终取值：硬件最大可承载值 × 0.8

四、CUDA OOM显存溢出全套解决方案

针对训练中常见的 RuntimeError: CUDA out of memory 报错，整理通用高效解决方案（训练+推理通用）。

1. 快速见效方案

• 减小BatchSize：最直接有效，从大值逐步下调至无报错

• 清理GPU缓存：每个epoch/验证后释放显存

import torch, gc gc.collect() torch.cuda.empty_cache()

推理关闭梯度计算：彻底杜绝推理阶段显存浪费

with torch.no_grad(): output = model(input)

2. 进阶优化方案

2.1 混合精度训练（AMP）

降低30%+显存占用，提升20%+训练速度，适配NVIDIA新显卡

from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() for data, target in train_loader: optimizer.zero_grad() with autocast(): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

2.2 梯度累积（模拟大Batch训练）

小batch显存、大batch训练效果，解决显存不足无法大批次训练问题

accumulation_steps = 4 optimizer.zero_grad() for i, (x, y) in enumerate(train_loader): output = model(x) loss = criterion(output, y) loss = loss / accumulation_steps loss.backward() # 累积指定步数后更新参数 if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()

2.3 其他优化手段

• 缩小输入图像尺寸：通过Resize降低单样本显存占用

• 模型轻量化：ResNet→MobileNet、YOLOv5→YOLOv5n、UNet→Fast-SCNN

• 手动释放中间变量：推理循环中del无用张量，主动释放显存

for i, batch in enumerate(loader): with torch.no_grad(): out = model(batch) del out # 强制释放张量 torch.cuda.empty_cache()

@浙大疏锦行