DAY 43

一、Hook 机制与 Grad-CAM

1. 核心概念铺垫

• 回调函数：将函数作为参数，在特定事件触发时执行，实现解耦和延迟执行。
• 装饰器：对原函数进行包装，增强其功能，代码结构更优雅。
• lambda 函数：单行匿名函数，常用于 Hook 中的简单逻辑。

2. PyTorch Hook

Hook 基于动态计算图，在不修改模型代码的情况下监听/修改中间数据。

类型	钩子注册方法	作用
模块前向钩子	register_forward_hook	获取模块的输入/输出（只读）
模块反向钩子	register_backward_hook	获取模块的输入/输出梯度
张量钩子	register_hook	查看或修改张量梯度

使用后务必通过 handle.remove() 释放资源，避免内存泄漏。

3. Grad-CAM 原理与实现

• 目标：生成热力图，显示 CNN 对特定类别关注的图像区域。

• 核心步骤：

  1. 选定目标卷积层，利用 Hook 捕获前向输出（特征图） 和反向梯度。
  2. 对梯度做全局平均池化，得到每个通道的权重。
  3. 权重与特征图加权求和，经 ReLU 去除负贡献，得到原始热力图。
  4. 双线性插值到原图尺寸，归一化后叠加到原始图像。

• 作用：帮助判断模型决策是否合理（如通过腿和头部识别青蛙），以及发现潜在偏见（如通过性别判断职业）。

---

二、从 MLP 到 CNN 的进化

1. MLP 的局限性

• 将图像展平为一维向量，丢失空间结构，无法捕获局部特征（边缘、纹理）。
• 参数量巨大，易过拟合，CIFAR-10 准确率通常仅 50%--55%。

2. CNN 的优势

• 卷积层：局部感知 + 权值共享，有效提取层次化空间特征。
• 池化层：下采样缩小尺寸，增强平移不变性，减少计算量。
• 参数量显著减少（如简单 CNN 约 10 万参数），准确率大幅提升至 70%--80% 以上。

3. 提升 CNN 性能的关键组件

• 数据增强（训练集）：随机裁剪、翻转、颜色抖动等，增加样本多样性，减轻过拟合。
• Batch Normalization：置于卷积后，标准化 mini-batch 数据，加速收敛，允许更大学习率。训练时用 batch 统计量，推理时用全局滑动平均。
• Dropout：放在全连接层间，随机失活神经元，进一步防过拟合。
• 学习率调度器 （如 ReduceLROnPlateau）：动态调整基础学习率，先快后慢精细调优。
• 输出层 返回 logits，配合 CrossEntropyLoss 使用。

4. 典型 CNN 结构（图像分类）

Conv2d → BatchNorm → ReLU → MaxPool  （重复 2~3 次，通道数递增 32→64→128）
→ Flatten → Linear → ReLU → Dropout → Linear（输出 logits）

---

三、图像分类任务的规范流程

1. 数据处理

• transforms.Compose 组合 ToTensor 和 Normalize，训练集与测试集一致。
• DataLoader 设 batch_size，训练时 shuffle=True。

2. 模型构建

• 继承 nn.Module，定义各层与 forward 流程。
• 损失：nn.CrossEntropyLoss()；优化器：Adam 等。
• 设备迁移：模型和数据均需 .to(device)。

3. 训练与测试模块化

• 封装 train() 与 test() 函数，提高复用性。
• 训练循环：optimizer.zero_grad() → forward → loss.backward() → optimizer.step()。
• 测试时用 torch.no_grad()，并切换到 model.eval()。
• 记录损失、准确率，可绘制迭代曲线。

4. 验证集与早停

• 划分训练集/验证集/测试集，验证集用于调参和早停，测试集仅最终评估。

---

总结 ：

从 Hook 与 Grad-CAM 揭示模型关注区域，到 CNN 替换 MLP 解决空间信息丢失问题，再到 规范化训练流程，构成了深度学习图像任务的完整链条------理解原理、构建高效模型、并保持代码健壮可复用。