[深度学习网络从入门到入土] 拓展 - Inception

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

文章目录

[[深度学习网络从入门到入土] 拓展 - Inception](#[深度学习网络从入门到入土] 拓展 - Inception)
个人导航
[Inception v1](#Inception v1)
- - - [1. 结构](#1. 结构)
[Inception v2](#Inception v2)
- - - [1. 核心改动 A：BatchNorm 全面使用](#1. 核心改动 A：BatchNorm 全面使用)
    - [2. 核心改动 B：更"便宜"的大卷积（5×5 → 3×3 + 3×3）](#2. 核心改动 B：更“便宜”的大卷积（5×5 → 3×3 + 3×3）)
[Inception v3](#Inception v3)
- - - [1. 因式分解卷积（Factorized Convolutions）](#1. 因式分解卷积（Factorized Convolutions）)
    - [2. "Grid Size Reduction" 变得更讲究](#2. “Grid Size Reduction” 变得更讲究)
    - [3. 正则与训练技巧更"配方化"](#3. 正则与训练技巧更“配方化”)
[Inception v4 & Inception-ResNet](#Inception v4 & Inception-ResNet)
- - - [1. Inception-v4：把 v3 的思想"模块标准化"](#1. Inception-v4：把 v3 的思想“模块标准化”)
    - [2. Inception-ResNet：把 Inception 模块放进残差框架](#2. Inception-ResNet：把 Inception 模块放进残差框架)
后续

Inception v1

论文: Going Deeper with Convolutions.

Inception v1源于GoogLeNet
同一层里"多尺度"并行提特征，而不是只靠堆深/堆宽

1. 结构

经典 4 路并行：

1×1（线性组合/提非线性）
1×1 → 3×3
1×1 → 5×5
3×3 maxpool → 1×1

最后 Concat(通道拼接)

关键：大核(3×3/5×5)前先用 1×1 降维，否则计算炸

Inception v2

论文: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.

Inception v2 把 BN 系统性引入 Inception 的版本 ，常被叫 BN-Inception

1. 核心改动 A：BatchNorm 全面使用

BN 带来：

更高学习率、更快收敛，同时有一定正则化效果
甚至在一些设置下可减弱对 Dropout 的依赖

2. 核心改动 B：更"便宜"的大卷积（5×5 → 3×3 + 3×3）

降计算同时保持感受野

在后续 v3 被系统化成"卷积分解/因式分解"的设计哲学

Inception v3

论文: Rethinking the Inception Architecture for Computer Vision.

把"省算力"做成一套系统规则，而不是局部小修小补

1. 因式分解卷积（Factorized Convolutions）

(a) 5×5 → 3×3 + 3×3（省算力+更多非线性）

(b) n×n → 1×n + n×1（非对称卷积）

例如 3×3 → 1×3 + 3×1 ，或更大的 7×7 → 1×7 + 7×1

这通常能显著减少计算，同时保持等效感受野

© 大 7×7 的进一步处理

论文明确提到"factorized 7×7"等变体设置

2. "Grid Size Reduction" 变得更讲究

v3 里下采样（特征图尺寸变小）不再只是粗暴 pooling/stride，

而是设计专门的 reduction block，避免信息瓶颈（同时控制计算量）

3. 正则与训练技巧更"配方化"

v3 论文讨论了多种训练设定/技巧（比如 label smoothing、BN-auxiliary）

Inception v4 & Inception-ResNet

论文: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning.

1. Inception-v4：把 v3 的思想"模块标准化"

用更统一的 Stem / Inception-A / Inception-B / Inception-C / Reduction-A / Reduction-B 这套积木来搭

目标：更清晰、更可复现、更好调参

2. Inception-ResNet：把 Inception 模块放进残差框架

残差连接能明显加速 Inception 网络训练，并且在相近计算量下有时还能带来小幅收益

后续

到了 v4 后, Inception 已经发展到极限复杂度

且 ResNet 出现后，主流发展方向变成：

更深（50/101/152层）
更简单
更容易扩展

而 Inception：(工程上不如 ResNet 好扩展)

结构复杂
分支多
手工设计感强

AutoML 时代来了 -> 让算法自己搜索结构

Inception 属于人类精心设计的多分支结构