SSD：单阶段多尺度目标检测的经典解读

本文是基于 Dive into Deep Learning 中 "Single Shot Multibox Detection" 章节和 SSD 原始论文的原创中文解读，不是逐段翻译。文中复用的 D2L 图示遵循 D2L 文档的 CC BY-SA 4.0 授权；原始论文图片未搬运，仅作为技术背景引用。

目标检测的核心问题可以用一句话概括：模型不仅要判断图像里有什么，还要指出它在什么位置。早期两阶段检测器通常先生成候选区域，再对候选区域做分类和边框回归。SSD（Single Shot MultiBox Detector）的经典价值在于，它把这个流程压缩进一次前向传播：在多尺度特征图上预设大量锚框，同时预测每个锚框的类别和边界框偏移。

这种设计看似简单，却奠定了很多单阶段检测器的共同语言：密集锚框、多尺度特征、分类分支、回归分支、非极大值抑制。即使今天有 anchor-free、DETR 系列和端到端检测器，理解 SSD 仍然有助于看清目标检测从"候选区域驱动"走向"密集预测驱动"的关键一步。

1. SSD 要解决什么问题

目标检测比图像分类难的一点是，输出数量不是固定的。图像分类只输出一个类别分布；检测模型需要输出若干个对象，每个对象包含类别、置信度和位置。SSD 的处理方式是先把输出空间离散化：在不同特征图位置放置不同尺寸、不同宽高比的锚框，再让网络学习两件事：

这个锚框更像背景，还是更像某个对象类别。
如果它接近某个对象，应该怎样平移和缩放，才能贴合真实边界框。

因此，SSD 的名字里有三个关键词：

Single Shot：一次前向传播直接给出检测结果，不再单独生成 proposal。
MultiBox：用大量默认框/锚框覆盖可能的目标位置和形状。
Detection：同时完成分类与定位，而不是只做图像级分类。

2. 整体结构：基础网络 + 多尺度特征图

上图是 D2L 对 SSD 的结构概括。底部的基础网络负责提取图像特征，后面接多个多尺度特征图块。每个尺度都会生成锚框，并输出两类预测：

类别预测：锚框属于背景或某个对象类别的概率。
边框预测：锚框相对真实边界框的偏移量。

为什么要多尺度？因为目标大小差异很大。浅一些、分辨率更高的特征图保留更多局部位置细节，适合小物体；深一些、分辨率更低的特征图感受野更大，适合大物体。SSD 用多个尺度一起预测，相当于让同一个网络在不同"放大倍率"下观察图像。

3. 分类头与边框头：把全连接换成卷积

设数据集中有 q 个对象类别。SSD 还需要把"背景"作为一个额外类别，所以每个锚框一共要预测 q + 1 个类别分数。若某个尺度的特征图高为 h、宽为 w，每个空间位置放 a 个锚框，则该尺度上一共有：

text 复制代码

h * w * a

个锚框需要分类。若用全连接层把这些位置全部摊平，参数量会很快失控。SSD 的关键处理是用卷积预测头替代全连接层：卷积在每个空间位置共享参数，同时保留"这个位置对应这些锚框"的关系。

分类预测头的输出通道数为：

text 复制代码

a * (q + 1)

其中第 i 个锚框、第 j 个类别可以映射到对应通道。边框回归头则更简单：每个锚框预测 4 个偏移量，通常对应中心点、宽、高的调整，因此输出通道数为：

text 复制代码

4 * a

这两个公式是理解 SSD 张量形状的入口：同一个特征图位置，既有若干个锚框，又要为每个锚框输出分类向量和位置偏移。

4. 多尺度预测如何拼接

不同尺度的特征图尺寸不一样，输出张量自然也不一样。D2L 示例中，一个 20 x 20 特征图、每点 5 个锚框、10 个对象类别，会得到 5 * (10 + 1) = 55 个分类通道；另一个 10 x 10 特征图、每点 3 个锚框，会得到 33 个分类通道。它们不能直接按原始四维形状相加。

SSD 的做法是把每个尺度的输出重新整理成统一格式：

text 复制代码

(batch_size, height * width * channels)

然后沿着锚框维度拼接。换句话说，每个尺度各自负责一批锚框，最后把所有锚框的预测摊成同一个大表。训练和推理时，模型不再关心某个锚框来自哪层特征图，只关心它的类别分数、位置偏移和对应的默认锚框。

在 D2L 的 TinySSD 示例中，输入图像大小为 256 x 256，多个尺度会产生：

text 复制代码

(32^2 + 16^2 + 8^2 + 4^2 + 1) * 4 = 5444

个锚框。这个数字很好地体现了单阶段检测的特征：模型一次性密集预测很多候选框，再在后处理阶段筛掉冗余结果。

5. 训练：给锚框分配标签，再联合优化

SSD 训练时并不是直接让模型"自由生成框"，而是先根据真实标注给锚框分配监督信号。一个锚框若和某个真实框足够匹配，就被视为正样本；其类别标签是对象类别，位置标签是从锚框到真实框的偏移。大量没有匹配到对象的锚框则是背景。

训练损失通常由两部分组成：

text 复制代码

L = L_cls + L_bbox

其中 L_cls 是锚框类别损失，常用交叉熵；L_bbox 是正样本锚框的位置回归损失，D2L 示例里使用 L1 损失，并用 bbox_masks 过滤掉背景锚框和填充锚框。这个 mask 很重要：背景框没有真实对象位置，不能参与边界框回归。

D2L 的训练示例在香蕉检测数据集上演示了这一流程：前向传播生成多尺度锚框、类别预测和偏移预测；根据真实标注生成锚框标签；计算分类与回归损失；再反向传播更新网络。这里的数据集很小，目的不是追求复杂 benchmark，而是把 SSD 的训练机制跑通。

6. 回归损失与难例：从 L1 到 Smooth L1、Focal Loss

D2L 在练习部分提醒了两个很实际的改进方向。第一个是把普通 L1 损失替换为 Smooth L1。它在接近 0 的区域用平方形式，让损失更平滑；误差较大时又接近 L1，避免异常值像 L2 那样过度支配训练。形式可以写成：

text 复制代码

f(x) =
  (sigma * x)^2 / 2,        if |x| < 1 / sigma^2
  |x| - 0.5 / sigma^2,      otherwise

第二个方向是类别不平衡。密集锚框检测天然会产生海量背景框，正样本往往只是少数。SSD 原论文会处理正负样本比例，后来的 RetinaNet 则提出 Focal Loss，把学习重点转向难分类样本。若真实类别的预测概率为 p_j，Focal Loss 的核心项是：

text 复制代码

- alpha * (1 - p_j)^gamma * log(p_j)

当一个样本已经被正确分类、p_j 较高时，(1 - p_j)^gamma 会压低它的损失权重；模型便能把更多梯度留给困难样本。这也是 SSD 之后单阶段检测持续演进的关键问题之一：不是只要密集预测就够了，还要控制正负样本和难例的训练权重。

7. 推理：偏移还原 + 非极大值抑制

推理阶段，SSD 会先得到所有锚框的类别概率和边框偏移。接着做三件事：

根据预测偏移，把默认锚框还原为最终候选框。
过滤掉背景类别和低置信度候选框。
用非极大值抑制（NMS）删除高度重叠的重复框。

NMS 是传统检测器里非常典型的后处理步骤：如果多个框都指向同一个物体，保留置信度最高的那个，抑制与它重叠过大的框。SSD 的"单阶段"主要指网络前向预测不需要 proposal 阶段；它并不意味着完全没有后处理。

8. 为什么 SSD 经典

SSD 的贡献可以从三个层面理解。

第一，它把目标检测做成了一个统一的密集预测问题。每个锚框都是一个小任务：分类 + 回归。网络不需要先切出候选区域，再对候选区域分别跑分类器。

第二，它用多尺度特征图自然覆盖不同大小的目标。与只在最后一层做预测相比，多尺度结构让高分辨率浅层特征也参与检测，缓解小目标难以定位的问题。

第三，它把速度、准确率和实现复杂度放在了一个很实用的折中点上。原始 SSD 论文报告，在 300 x 300 输入上，SSD 达到 72.1% mAP 和 58 FPS；在 500 x 500 输入上达到 75.1% mAP，并超过了一个可比的 Faster R-CNN 模型。具体数值属于当时硬件和数据集条件下的结果，但它说明了单阶段检测器的工程吸引力：少一步 proposal，系统就更容易部署和加速。

9. 局限与后续影响

SSD 的局限也很清楚。锚框设计依赖人工经验，尺度、宽高比、匹配阈值都会影响结果；小目标仍然是难点；背景锚框过多会带来类别不平衡；NMS 后处理也不是端到端学习的一部分。

这些问题后来分别催生了很多方向：FPN 强化特征金字塔，RetinaNet 用 Focal Loss 处理难例与类别不平衡，YOLO 系列继续推进实时检测，anchor-free 方法减少手工锚框设计，DETR 系列则尝试用集合预测替代 NMS。也正因为如此，SSD 是理解目标检测发展史的一块好跳板：它不只是一个模型名称，更代表了单阶段检测思想的成熟形态。

10. 小结

SSD 的核心可以压缩成一句话：在多个尺度的特征图上密集放置锚框，并为每个锚框同时预测类别和位置偏移。它用卷积预测头控制参数量，用多尺度特征照顾不同大小目标，用分类损失和回归损失联合训练，最后通过置信度过滤和 NMS 输出检测框。

今天再看 SSD，最值得学习的不是某个具体网络块，而是它把复杂检测任务拆成可训练、可并行、可部署的工程结构。这种"把空间位置、尺度、类别、边框统一进张量预测"的方式，仍然影响着许多现代检测模型。

参考来源与许可说明

D2L 章节：Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, "Single Shot Multibox Detection", Dive into Deep Learning 1.0.3，原文链接：https://d2l.ai/chapter_computer-vision/ssd.html
SSD 原始论文：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector", arXiv:1512.02325 / ECCV 2016，论文链接：https://arxiv.org/abs/1512.02325
D2L 授权说明：D2L 开源书正文与图示采用 Creative Commons Attribution-ShareAlike 4.0 International License；示例/参考代码采用 modified MIT license。本文为原创中文解读，复用的 D2L 图示已保留来源与授权说明。