文章目录
-
- [01 基础信息](#01 基础信息)
- [02 背景](#02 背景)
- [03 方法](#03 方法)
- [04 结果](#04 结果)
- [05 思考](#05 思考)
- [06 新掌握的表达](#06 新掌握的表达)
01 基础信息
- 标题：Deep Image Prior。
- 作者：Dmitry Ulyanov、Andrea Vedaldi、Victor Lempitsky。
- 发表：CVPR 2018；扩展版发表于 International Journal of Computer Vision，128(7):1867--1888，2020。本文依据所提供的 2020 年扩展稿整理，卷期信息可见牛津大学论文记录。
- 关键词：图像先验，隐式正则化，单图像优化，去噪，超分辨率，图像修复。
- 论文：IJCV 版本。
- 代码与示例：作者项目主页。
- 总结：本文不使用外部训练集或预训练权重，而是对单张退化图像优化一个随机初始化的生成网络。网络结构及优化过程本身带来的偏好，可以作为图像先验，用于去噪、超分辨率和缺失区域修复。
前面几篇论文主要学习如何重建图像，这篇则提出一个更基础的问题：网络的能力，有多少来自训练数据，又有多少来自网络结构本身？
02 背景
传统图像恢复如何建模？
给定退化观测 x 0 x_0 x0，通常求解：
x ∗ = arg min x E ( x ; x 0 ) + R ( x ) x^*=\arg\min_x E(x;x_0)+R(x) x∗=argxminE(x;x0)+R(x)
E E E 是任务相关的数据项，要求恢复结果能解释观测； R R R 是图像先验，用来从多个候选结果中选择合理的图像。例如 TV 倾向于分段平滑的图像，深度学习则常从大量训练样本中学习先验。
DIP 的出发点是：即使不预训练，卷积生成网络的结构也不是对所有图像一视同仁的。
重新整理的一些背景知识：
什么是归纳偏置（Inductive Bias）？
模型结构与求解方式对某些解的偏好。卷积的局部连接、权重共享和多尺度结构，使网络更容易形成空间相关的模式，而不是彼此独立的像素值。
什么是图像的重参数化？
不再直接把每个像素作为优化变量，而是令 x = f θ ( z ) x=f_\theta(z) x=fθ(z)，用网络参数 θ \theta θ 间接决定图像。即便最终能够表示同一批图像，参数化方式不同，优化走过的路径也可能不同。
什么是"未训练网络"？
这里是指没有在外部数据集上预训练。恢复当前图像时仍然要更新网络参数，通常需要大量梯度迭代。 "不需要训练集"不能理解为"不需要优化"。
03 方法
（1）用网络结构替代显式先验
固定一个输入张量 z z z，将图像写为：
x = f θ ( z ) x=f_\theta(z) x=fθ(z)
网络参数随机初始化，只利用当前退化观测优化：
θ ∗ = arg min θ E ( f θ ( z ) ; x 0 ) , x ∗ = f θ ∗ ( z ) \boxed{\theta^*=\arg\min_\theta E(f_\theta(z);x_0),\qquad x^*=f_{\theta^*}(z)} θ∗=argθminE(fθ(z);x0),x∗=fθ∗(z)
上述公式对应原文式（2）。与传统目标相比，显式的 R ( x ) R(x) R(x) 被去掉了；先验体现在网络的可生成结构及其优化轨迹中。
图 1：来源于所提供版本的 Fig. 2。每轮更新的是网络参数，观测图像用于计算数据项。
（2）固定输入，优化权重
基本流程是：随机生成 z z z 和初始参数 θ 0 \theta_0 θ0；生成图像；按退化模型计算误差；反向传播更新 θ \theta θ；在合适的迭代点输出结果。
基础公式中 z z z 固定、不作为可学习变量。实现中，作者还会在固定输入附近加入小幅随机扰动进行正则化；部分大孔洞修复实验使用二维坐标网格，闪光/无闪光图像恢复则使用引导图像作为输入。因此不能将"所有实验都严格输入同一个固定噪声"作为统一实现描述。
（3）不同任务只需改变数据项
为明确表示平方误差，下面统一使用 ∥ ⋅ ∥ 2 2 \|\cdot\|_2^2 ∥⋅∥22：
| 任务 | 数据项 | 约束的含义 |
|---|---|---|
| 去噪 | ∥ f θ ( z ) − x 0 ∥ 2 2 \Vert f_\theta(z)-x_0\Vert_2^2 ∥fθ(z)−x0∥22 | 拟合含噪观测，在过拟合噪声前停止 |
| 超分辨率 | ∥ d ( f θ ( z ) ) − x 0 ∥ 2 2 \Vert d(f_\theta(z))-x_0\Vert_2^2 ∥d(fθ(z))−x0∥22 | 生成高分辨率图像，降采样后符合观测 |
| 缺失像素修复 | ∥ m ⊙ ( f θ ( z ) − x 0 ) ∥ 2 2 \Vert m\odot(f_\theta(z)-x_0)\Vert_2^2 ∥m⊙(fθ(z)−x0)∥22 | 只在已知像素上计算误差 |
d d d 是降采样算子， m = 1 m=1 m=1 表示已知像素， m = 0 m=0 m=0 表示缺失位置， ⊙ \odot ⊙ 表示逐点乘法。
以修复为例，缺失位置没有直接的观测损失，但卷积网络中的参数共享会把已知区域中的结构传播到这些位置。这与直接优化缺失位置的独立像素不同。
（4）为什么需要提前停止？
作者分别拟合自然图像、含噪图像、像素打乱后的图像和白噪声，发现自然图像结构通常拟合得更快。
图 2：来源于 Fig. 4。横轴为迭代次数，纵轴为对拟合目标的均方误差。它反映拟合速度，不是对干净真值的误差曲线。
但这只是优化偏好，并不是网络不能表示噪声。对去噪任务，若持续优化，输出最终会越来越接近含噪观测，噪声也会被拟合。因此，降低观测损失并不等于持续改善恢复质量。
（5）网络与实现设置
主要采用编码器-解码器结构，部分任务带窄的跳跃连接。作者使用 LeakyReLU、步长卷积下采样、双线性或最近邻上采样，以及 Adam 优化器。
以默认的 4 倍超分辨率设置为例：输入为 32 通道随机张量，五个尺度的主分支通道数均为 128，跳跃连接每尺度 4 通道，主要卷积核为 3 × 3 3\times3 3×3；学习率 0.01，优化 2000 次。8 倍超分辨率增加到 4000 次，并调整输入扰动幅度。
这些是具体任务设置，不是所有恢复问题统一适用的超参数。论文的大孔洞修复实验还显示，去掉跳跃连接可能更好，不能简单概括为跳跃连接越多越有效。
04 结果
去噪实验：
在 9 张彩色图像、噪声强度 σ = 25 \sigma=25 σ=25 的标准测试设置中，论文报告：
| 方法或设置 | PSNR / dB |
|---|---|
| DIP，1800 次优化 | 29.22 |
| DIP，加迭代输出的指数滑动平均 | 30.43 |
| DIP，再对两次优化结果平均 | 31.00 |
| Non-local Means | 30.26 |
| CBM3D | 31.42 |
这里要保留平均策略的区别，不能把 31.00 dB 写成一次普通 DIP 优化的结果。这组设置中，DIP 接近 CBM3D，但没有超过它。
超分辨率实验：
下表摘自原文 Table 1、Table 2 的平均 PSNR，单位为 dB；不同方法按论文对应设置比较：
| 方法 | Set5，4 倍 | Set14，4 倍 | Set5，8 倍 | Set14，8 倍 |
|---|---|---|---|---|
| Bicubic | 28.44 | 26.05 | 24.37 | 23.09 |
| TV prior | 28.85 | 26.42 | 24.87 | 23.48 |
| DIP | 29.89 | 27.00 | 25.88 | 24.15 |
| LapSRN | 31.58 | 28.13 | 26.10 | 24.35 |
DIP 明显优于这些传统插值与 TV 基线，但仍落后于此处的外部数据训练方法 LapSRN。其贡献是说明：没有外部训练集，仅靠架构与单图像优化，也能得到相当有竞争力的结果。
修复与其他应用：
论文展示了文字遮挡去除、随机缺失 50% 像素、大区域修复、深层特征反演、激活最大化、细节增强与闪光/无闪光联合恢复。扩展稿的这些应用说明了同一参数化思路的适用范围，但不代表它能可靠完成所有依赖语义知识的大孔洞补全。
计算代价：
论文指出，逐张图像反复前向、反向计算通常需要数分钟。它省去了离线数据集训练，却把优化代价转移到了当前图像上，不能视为普通前馈网络的一次推理。
05 思考
为什么随机网络也有先验？
随机的是参数初值，网络中的卷积、多尺度处理和连接方式仍经过人工设计。随机初始化没有消除结构带来的偏好。DIP 的重要启发是：先验不一定要表现为一个显式公式，也不一定都由外部样本学习得到。
它与 MoDL 的先验有什么不同？
MoDL 在训练集上学习可复用的去噪器，再用于新样本；DIP 为当前观测重新优化生成网络。前者把学习放在离线阶段，后者主要依赖当前样本、架构和优化过程。
因此不能直接用两篇论文的 PSNR 判断谁更好，它们面对的任务、数据和计算预算都不同。
提前停止是不是一个附属技巧？
对于去噪，它直接参与了正则化。网络先拟合结构、后拟合噪声的速度差，只有在适当停止时才能转化为恢复收益。实际应用又没有干净真值可供挑选最佳 PSNR，因此停止准则是实现时需要认真解决的问题。
能否直接把这篇当作 MRI 重建论文？
本文主要验证自然图像恢复。把 E E E 改成 MRI 测量域误差，可以构造相应扩展，但这不是原文已经验证过的多线圈 MRI 结论。图像生成的结构偏好，也不能代替对物理模型和病灶保真性的验证。
可以学习的点？
通过控制变量分析结构本身的贡献；将图像恢复统一为"生成网络加任务数据项"；同时检查观测损失和恢复质量，避免把更充分拟合观测误认为更好的重建。
06 新掌握的表达
深度图像先验：deep image prior
归纳偏置：inductive bias
图像重参数化：image re-parameterization
提前停止：early stopping
隐式先验：implicit prior
对噪声的高阻抗：high impedance to noise
单图像恢复：single-image restoration