DAY 43

一、Hook 机制与 Grad-CAM

1. 核心概念铺垫

  • 回调函数:将函数作为参数,在特定事件触发时执行,实现解耦和延迟执行。
  • 装饰器:对原函数进行包装,增强其功能,代码结构更优雅。
  • lambda 函数:单行匿名函数,常用于 Hook 中的简单逻辑。

2. PyTorch Hook

Hook 基于动态计算图,在不修改模型代码的情况下监听/修改中间数据。

类型 钩子注册方法 作用
模块前向钩子 register_forward_hook 获取模块的输入/输出(只读)
模块反向钩子 register_backward_hook 获取模块的输入/输出梯度
张量钩子 register_hook 查看或修改张量梯度

使用后务必通过 handle.remove() 释放资源,避免内存泄漏。

3. Grad-CAM 原理与实现

  • 目标:生成热力图,显示 CNN 对特定类别关注的图像区域。

  • 核心步骤:

    1. 选定目标卷积层,利用 Hook 捕获前向输出(特征图) 和反向梯度。
    2. 对梯度做全局平均池化,得到每个通道的权重。
    3. 权重与特征图加权求和,经 ReLU 去除负贡献,得到原始热力图。
    4. 双线性插值到原图尺寸,归一化后叠加到原始图像。
  • 作用:帮助判断模型决策是否合理(如通过腿和头部识别青蛙),以及发现潜在偏见(如通过性别判断职业)。


二、从 MLP 到 CNN 的进化

1. MLP 的局限性

  • 将图像展平为一维向量,丢失空间结构,无法捕获局部特征(边缘、纹理)。
  • 参数量巨大,易过拟合,CIFAR-10 准确率通常仅 50%--55%。

2. CNN 的优势

  • 卷积层:局部感知 + 权值共享,有效提取层次化空间特征。
  • 池化层:下采样缩小尺寸,增强平移不变性,减少计算量。
  • 参数量显著减少(如简单 CNN 约 10 万参数),准确率大幅提升至 70%--80% 以上。

3. 提升 CNN 性能的关键组件

  • 数据增强(训练集):随机裁剪、翻转、颜色抖动等,增加样本多样性,减轻过拟合。
  • Batch Normalization:置于卷积后,标准化 mini-batch 数据,加速收敛,允许更大学习率。训练时用 batch 统计量,推理时用全局滑动平均。
  • Dropout:放在全连接层间,随机失活神经元,进一步防过拟合。
  • 学习率调度器 (如 ReduceLROnPlateau):动态调整基础学习率,先快后慢精细调优。
  • 输出层 返回 logits,配合 CrossEntropyLoss 使用。

4. 典型 CNN 结构(图像分类)

复制代码
Conv2d → BatchNorm → ReLU → MaxPool  (重复 2~3 次,通道数递增 32→64→128)
→ Flatten → Linear → ReLU → Dropout → Linear(输出 logits)

三、图像分类任务的规范流程

1. 数据处理

  • transforms.Compose 组合 ToTensor 和 Normalize,训练集与测试集一致。
  • DataLoader 设 batch_size,训练时 shuffle=True。

2. 模型构建

  • 继承 nn.Module,定义各层与 forward 流程。
  • 损失:nn.CrossEntropyLoss();优化器:Adam 等。
  • 设备迁移:模型和数据均需 .to(device)。

3. 训练与测试模块化

  • 封装 train() 与 test() 函数,提高复用性。
  • 训练循环:optimizer.zero_grad() → forward → loss.backward() → optimizer.step()。
  • 测试时用 torch.no_grad(),并切换到 model.eval()。
  • 记录损失、准确率,可绘制迭代曲线。

4. 验证集与早停

  • 划分训练集/验证集/测试集,验证集用于调参和早停,测试集仅最终评估。

总结 :

从 Hook 与 Grad-CAM 揭示模型关注区域,到 CNN 替换 MLP 解决空间信息丢失问题,再到 规范化训练流程,构成了深度学习图像任务的完整链条------理解原理、构建高效模型、并保持代码健壮可复用。

相关推荐
岁月宁静4 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者4 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19906 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5557 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~13 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享13 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者14 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.15 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人16 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__16 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python