论文
VoVNetV1: https://arxiv.org/pdf/1904.09730
VoVNetV2: https://arxiv.org/pdf/1911.06667
笔记如下：
abstract
This paper add a spatial attention-guided mask(SAG-Mask) branch to FCOS.
- this is the same vein with Mask R-CNN
This paper presents an improved backbone VoVNetV2.
- (1) residual connection --> allevating larger model optimization collapse
- (2) effective Squeeze-Excitation--> dealing with the channel information loss of original SE
Spatial Attention-Guided Mask(SAG-Mask)
we design a spatial attention-guided mask (SAG-Mask), as shown in Figure 2. Once features inside the predicted RoIs are extracted by RoI Align 9 with 14×14 resolution, those features are fed into four conv layers and spatial attention module (SAM) sequentially.
VoVNetV2 backbone
VoVNetv2 is improved from VoVNet by adding residual a connetion and the proposed effective Squeeze-and-Excitation attention module.
- One Shot Aggregation (OSA)
Compare to VoVNetV1
VoVNetV2（通常指在 VoVNet 论文第二版或下游任务如 CenterNet2、CenterPoint 中广泛使用的升级版）对 VoVNetV1 的核心改进，主要解决了 V1 版本的两个致命痛点：网络难以训练得更深，以及通道特征自适应能力不足。
具体来说，VoVNetV2 在原有的 OSA（一阶段聚合）模块基础上，引入了以下两项颠覆性的设计改进：
1. 引入残差连接（Identity Residual Connection）：突破层数极限
- VoVNetV1 的痛点：V1 虽然靠 Concat 拼接特征解决了 DenseNet 的显存问题，但它本质上还是一个平铺的链式网络。当网络层数加深（例如堆叠到 99 层、149 层）时，梯度在反向传播过程中依然会剧烈衰减。这导致 VoVNetV1 很难像 ResNet 那样无痛地扩展到上百层。
- VoVNetV2 的改进：V2 在整个 OSA 模块的外部，加上了一条恒等映射的残差跳连（Identity Shortcut），将模块的输入直接加（Addition）到最终的输出上。
- 带来的增益：
- 完美解决梯度消失：反向传播时，梯度可以沿着残差通道无损地流向浅层，使得网络能够平稳地训练到 VoV-99 甚至更深。
- 继承两家之长：模块内部用 Concat 保持特征的多样性，模块外部用 Add 保证网络深度的拓展性。
2. 引入改进的通道注意力（eSE Module）：增强特征提取
- VoVNetV1 的痛点：V1 把所有中间层的特征图简单地 Concat 在一起，但这会导致一个问题------所有的特征通道被同等对待。实际上，有些通道包含的关键信息多，有些通道包含的噪声多，网络缺乏辨别轻重缓急的能力。
- VoVNetV2 的改进：引入了 eSE（effective Squeeze-and-Excitation）模块。它是传统 SE 注意力机制的改良版。
- 传统 SE 模块：为了省算力，会先用一个全连接层把通道数压缩（FC-down），再用一个全连接层放大（FC-up）。但这会导致通道间的信息丢失。
- eSE 模块：V2 索性去掉了压缩通道的步骤，直接用一个保持原通道大小的全连接层（FC）来学习通道权重。
- 带来的增益：避免了通道压缩带来的信息残缺，用极少的计算量准确筛选出最有用的特征通道，极大地增强了小目标和复杂背景下的感知精度。
视觉对比：OSA 模块的内部演变
【VoVNetV1 的 OSA 模块】
输入 ──> [Conv1] ──> [Conv2] ──> [Conv3]
│ │ │
└─────> [ Concat ] <──┘
│
[Conv 1x1] ───> 输出
───────────────────────────────────────────────────────
【VoVNetV2 的 OSA 模块】
输入 ─────────────────────────────────────────┐ (残差边)
│ │
└───> [Conv1] ──> [Conv2] ──> [Conv3] │
│ │ │ │
└─────> [ Concat ] <──┘ │
│ │
[Conv 1x1] │
│ │
[eSE 注意力] │
│ │
[ 结果 ] ──────────────────> [ ⊕ 加法 ] ──> 输出💡 改进效果总结
| 改进维度 | VoVNetV1 🔴 | VoVNetV2 🟢 |
|---|---|---|
| 网络最大深度 | 难以做深（通常在 39 层、57 层左右受限） | 可轻松堆叠至 99 层以上（如经典的 VoV-99） |
| 梯度传播 | 仅靠链式传播，深层容易梯度弥散 | 拥有残差捷径，梯度回传极度顺畅 |
| 通道权重筛选 | 无，所有提取到的特征通道均等对待 | 拥有 eSE 模块，可自适应放大重要特征、抑制噪声 |
| 下游任务表现 | 在轻量级检测任务表现尚可 | 成为 3D 目标检测、大模型 Backbone 的性能怪兽 |
Compare to ResNet101
正是因为 V2 补齐了"深度"和"注意力"这两块短板，VoV-99 才能在如今的 3D 感知和自动驾驶领域，把传统的 ResNet101 乃至一些早期 Transformer 骨干网络按在地上摩擦。
VoV-99（特别是它的升级版 VoVNetV2-99）比经典的 ResNet101 更受欢迎。 核心原因在于 VoV-99 彻底解决了传统网络在"多尺度特征表达"、"硬件计算效率（GPU 吞吐量）"与"显存占用"之间的矛盾。
1. 架构本质：OSA 模块带来的特征丰富度
- ResNet101（残差结构）：使用跨层相加（Element-wise Addition）。虽然解决了梯度消失，但由于是"加法"，前几层的低级几何特征（边缘、纹理）会被后层的高级语义特征直接覆盖/稀释。
- VoV-99（一阶段聚合结构 OSA）：源自 VoVNet (CVPRW 2019)，它放弃了加法，采用类似 DenseNet 的通道拼接（Concat）。OSA（One-Shot Aggregation）将块内所有中间层的特征在最后一层一次性 Concat 聚合。这意味着它同时保留了低级、中级和高级特征，信息多样性远超 ResNet101。
2. 硬件友好：更低的内存访问成本 (MAC)
在工业落地（尤其是车载 GPU/边缘芯片）中，算力利用率比理论计算量（FLOPs）更重要。
- DenseNet 的教训：DenseNet 特征极其丰富，但每一层都要 Concat 前面所有层，导致中间特征图成倍膨胀，带来极其恐怖的 内存访问成本（MAC, Memory Access Cost），在 GPU 上运行非常慢。
- VoV-99 的优化：VoV-99 只在模块的最后一步进行一次性聚合，大幅减少了不必要的中间显存读写。
- 对比 ResNet101：ResNet101 虽然跳跃连接很简单，但由于层数深（101层），中间产生的碎片化激活张量较多。在具有相同精度表现的前提下，VoV-99 能更充分地压榨 GPU 算力，实现更高的吞吐量（FPS）和更好的能耗比。
3. 多尺度与小目标检测能力更强
感知模型（如自动驾驶中的远端行人、障碍物检测）对小目标和多尺度极为敏感。
- VoV-99 内部由于将不同感受野的特征图进行了通道级保留（Concat），天然形成了一种内置的"多尺度特征图"。
- ResNet101 随着网络加深，感受野过大，小目标的细节特征在加法和下采样过程中丢失严重，必须依赖复杂的 FPN（特征金字塔）来补救。
4. VoVNetV2 的最终绝杀（残差 + 注意力）
很多感知模型用的其实是 VoVNetV2-99。它在第一代的基础上加入了两个关键改进：
- 身份残差连接（Identity Residual Connection）：在 OSA 模块外部加了类似 ResNet 的大残差跳连，解决了原版 VoVNet 很难训练到 99 层以上深度的缺陷。
- 有效通道注意力（eSE Module）：在特征输出前加上了改进的 Squeeze-and-Excitation（SE）模块，去掉了传统 SE 导致信息丢失的中间全连接层，进一步增强了重要通道的特征，使得通道特征捕获能力完胜 ResNet101。
💡 核心总结看板
| 特性维度 | ResNet101 🔴 | VoV-99 (VoVNetV2) 🟢 |
|---|---|---|
| 特征融合方式 | 跨层相加（元素级 Addition），信息易被稀释 | 最后一层一次性拼接（Channel Concat），信息保留完整 |
| 小目标感知 | 较弱，深层缺少低级几何信息 | 极强，天然具备多尺度多样性特征 |
| 硬件吞吐 (FPS) | 中等，受限于深层串行结构 | 高，MAC 内存访问优化好，GPU 满载率高 |
| 显存与功耗 | 显存占用中等，功耗一般 | 显存效率极高，能耗比显著优于传统网络 |
一句话结论：ResNet101 是通用的万金油，但 VoV-99 是专门为 GPU 密集型"目标检测与分割"任务量身定制，在相同的硬件上跑出了比 ResNet101 更高的精度和更快的速度。