单幅图像去雨·论文蒸馏笔记：统一评测、方法谱系与 HQ-RAIN 新基准

蒸馏对象 ：Chen Xiang, Jinshan Pan（通讯）, Jiangxin Dong, Jinhui Tang.《Towards Unified Deep Image Deraining: A Survey and a New Benchmark》（南京理工大学，IEEE TPAMI 2025, Vol.47 No.7, pp.5414--5433，DOI: 10.1109/TPAMI.2025.3556133）

配套平台 ：http://www.deraining.tech/ （100+ 方法直链仓库 + 在线提交评测）

蒸馏日期 ：2026-10-10 · 蒸馏方法：DeepLens / 视频去雨系列同款"正文 + 目录 + 封面"流程

定位：这是单幅图像去雨领域目前最权威的 TPAMI 级综述，与前篇王红综述（2019/2021）构成"分类学 → 统一评测学"的两级跳

摘要

本笔记蒸馏 TPAMI 2025 单幅图像去雨统一评测综述：系统梳理七类雨成像模型与全监督、半监督、无监督方法谱系，指出混合/独立训练双赛道评测乱象；提出运动模糊合成加 alpha 融合的高质量基准 HQ-RAIN 与真实测试集 RE-RAIN；实测显示合成域冠军在真实域泛化弱于融合领域知识的 CNN。

摘要
一、这篇综述要解决什么问题（导读）
二、七个雨成像模型（问题形式化）
[三、方法谱系：从滤波器到稀疏 Transformer](#三、方法谱系：从滤波器到稀疏 Transformer)
- [3.1 总分类](#3.1 总分类)
- [3.2 全监督：CNN → Transformer 的完整演化线](#3.2 全监督：CNN → Transformer 的完整演化线)
- [3.3 半监督：真实域泛化的主力路线](#3.3 半监督：真实域泛化的主力路线)
- [3.4 无监督：CycleGAN 范式及其天花板](#3.4 无监督：CycleGAN 范式及其天花板)
四、八类损失函数速查
[五、数据集谱系与 HQ-RAIN 的三步构建法](#五、数据集谱系与 HQ-RAIN 的三步构建法)
- [5.1 现有数据集三层楼](#5.1 现有数据集三层楼)
- [5.2 HQ-RAIN 三步构建法（本文最有工程价值部分）](#5.2 HQ-RAIN 三步构建法（本文最有工程价值部分）)
- [5.3 三重质量验证](#5.3 三重质量验证)
六、双赛道统一评测结果（核心实验）
- [6.1 赛道设定](#6.1 赛道设定)
- [6.2 混合赛道（15 方法，Table IV）](#6.2 混合赛道（15 方法，Table IV）)
- [6.3 独立赛道（22 方法，Table V）](#6.3 独立赛道（22 方法，Table V）)
- [6.4 HQ-RAIN / RE-RAIN 新基准（10 方法，Table VI）------最反直觉的结果](#6.4 HQ-RAIN / RE-RAIN 新基准（10 方法，Table VI）——最反直觉的结果)
- [6.5 效率与下游应用](#6.5 效率与下游应用)
[七、未来方向（综述第六节 + 蒸馏注解）](#七、未来方向（综述第六节 + 蒸馏注解）)
八、与你的复现/项目谱系的关系
[附录 A：术语速查](#附录 A：术语速查)
[附录 B：本地材料索引](#附录 B：本地材料索引)

一、这篇综述要解决什么问题（导读）

王红综述（前篇）回答的是"有哪些方法 "------分类树 + 泛化评测；这篇 TPAMI 2025 综述回答的是"这些方法到底谁强"，并且指出一个尴尬的现实：

去雨领域没有统一的比赛规则。

具体乱象有三：

训练/测试配对关系混乱 ：有的方法混合多数据集训练一个模型测多个测试集（MSPFN、MPRNet、Restormer），有的方法每个数据集单独训练单独测（SPDNet、IDT、DRSformer）。两种"玩法"的分数不可直接比较；
Rain100L/H 与 Rain200L/H 混用：老版 Rain100 训练/测试集存在背景重复，新方法多用 Rain200，但论文里常不注明；
指标计算口径不一：PSNR/SSIM 在 RGB 还是 Y 通道上算、YCbCr 转换用 MATLAB 还是 OpenCV，各家不同------同一模型能差出零点几 dB。

综述统计了 100+ 篇文献的实验设置（Fig. 1b 弦图），结论是：同一张榜单上的数字，可能来自完全不同的赛道。

于是本文三大贡献：

贡献	内容
① 系统综述	按"学习策略"重整方法谱系，覆盖模型驱动 → CNN → Transformer
② 新基准 HQ-RAIN	5000 张高分辨率合成配对图，主打真实感与和谐度，另有 300 张真实图 RE-RAIN 测泛化
③ 在线平台	deraining.tech，统一口径跑分 + 提交结果在线对比

一句话定位：方法部分是"地图更新版"，基准与双赛道评测部分才是本文的杀手锏。

二、七个雨成像模型（问题形式化）

综述把历年来启发式雨模型整理成七种，这是理解所有方法动机的钥匙：

模型	公式	核心思想	出处
LSM 线性叠加	R = B + S	最常用：背景层 + 雨纹层直接相加	大多数方法
SBM 屏幕混合	R = B + S − B⊙S	非线性合成，雨层与背景相互影响，比 LSM 更真实	Luo et al., ICCV 2015
HRM 大雨模型	R = (B + ΣSᵢ)⊙T + (1−T)⊙A	引入大气散射模型，远距离雨积累产生雾状雨幕	Yang et al., CVPR 2017
DRM 深度引导	R = (1−S−F)⊙B + S + F⊙A	雾对远景的遮挡强于雨纹，引入场景深度 d(x)	Hu et al., CVPR 2019
TMM 透射介质	R = (Tₛ+Tᵥ)⊙B + (1−Tₛ−Tᵥ)⊙A	雨纹与水汽都视为透射介质，二者纠缠	Wang et al., ECCV 2020
RMM 雨滴遮罩	R = (1−M)⊙B + D	镜头/玻璃上附着雨滴造成的局部遮挡模糊	Qian et al., CVPR 2018
MRM 混合雨模型	R = (1−M)⊙(B+S) + αD	雨纹 + 雨滴共存，二者不能简单分治	Quan et al., CVPR 2021

蒸馏观点：

LSM 是绝大多数合成数据集（Rain100/200、Rain13K......）的生成假设，也是合成-真实域差的根源之一；
HRM/DRM 考虑了雨积雾化，但仍属启发式近似，对真实复杂退化依然力不从心------这是综述第六节"未来方向"的第一条；
注意这些模型与视频去雨系列的对应：HRM 的雾幕即王红综述强调的 veiling effect，VDMamba 真实雨实验面对的正是这类复合退化。

三、方法谱系：从滤波器到稀疏 Transformer

3.1 总分类

复制代码

单幅图像去雨
├── 模型驱动（传统）
│   ├── 滤波类：引导滤波（Xu/Kim/Zheng/Ding）
│   └── 先验类：图像分解（Kang）、低秩表示（Chen）、判别稀疏编码（Luo）、GMM（Li）
│       ------ 缺陷：手工雨模型覆盖面窄 + 迭代优化慢
└── 深度学习
    ├── 全监督（配对数据）------主流
    ├── 半监督（少量配对 + 大量无标签真实雨图）
    └── 无监督（无配对，GAN/对比学习）

3.2 全监督：CNN → Transformer 的完整演化线

CNN 时代里程碑（按时间线）：

Eigen 2013：三层 CNN 学"脏图 → 干净图"映射，深度去雨第一枪；
DDN 2017 （Fu et al.）：借 ResNet 结构，对高频细节层做负残差回归------"雨藏在高频里"这一先验影响深远；
RESCAN 2018：RNN 多阶段递归去雨，前阶段信息供后阶段复用；
LPNet 2020：高斯-拉普拉斯金字塔的轻量网络（本文效率评测的最低成本基线）；
MSPFN 2020：多尺度渐进融合，金字塔表征刻画跨尺度雨纹；
雨特性建模一支：雨密度（DID-MDN）、雨位置（JORDER）、深度（Hu）、稀疏性（准稀疏训练）、非局部（NLEDN）、雨幕（Heavy Rain）------把第二节的各种雨模型"翻译"进网络结构。

Transformer 时代（建模非局部信息，突破卷积感受野与空间不变性限制）：

方法	年份/出处	关键设计
IPT	CVPR 2021	首个通用图像处理 ViT（预训练范式）
Restormer	CVPR 2022	转置自注意力（通道维做注意力），高分辨率修复的效率标杆
IDT	TPAMI 2023	相对位置增强多头自注意力，弥补位置编码短板
DRSformer	CVPR 2023	top-k 稀疏注意力只算最相关特征------一作陈翔即本综述一作

3.3 半监督：真实域泛化的主力路线

配对数据在真实场景难采集，半监督用"少量合成配对 + 大量真实无标签"：

SSIR（Wei et al., CVPR 2019）：把去雨视为域适应问题，监督残差损失 + 无监督负对数似然联合优化；
Syn2Real （CVPR 2020）：高斯过程建模有/无标签潜空间，给无标签输入生成伪 GT；
MOSS（CVPR 2021）：记忆机制自适应记录多样雨外观；
雨方向正则（ICCV 2021）：半监督 + 知识蒸馏，蒸馏出雨方向正则保住雨图结构锐度。

与你的谱系对接：这条线就是 VDMamba 中值堆叠半监督损失的思想源头------半监督是"合成-真实域差"最直接的工程回应。张娟 MG-TSKD 项目若走 VDMamba 路线（E2 实验），谱系上正是 SSIR → Syn2Real → MOSS → VDMamba 这一脉。

3.4 无监督：CycleGAN 范式及其天花板

RR-GAN / DerainCycleGAN：CycleGAN 循环一致 + 雨注意力检测器分阶段提雨纹掩码；
UDGNet：无监督方向梯度优化，建模清晰图与雨分布的结构差异；
双对比学习（Chen et al., CVPR 2022）：深层特征空间拉近雨图/清晰图互信息；
非局部自相似 + 对比学习（Ye et al., CVPR 2022）。

综述点评：受限于 CycleGAN 固定范式，无监督去雨天花板未破；扩散模型可能是下一个突破口（呼应 LoViF 2026 挑战赛 FLUX.2 夺冠的事实）。

四、八类损失函数速查

损失	公式要点	用途
内容损失	‖B̂−B‖ₚ 或 √(‖B̂−B‖²+ε²)（Charbonnier）	像素级重建主损失（L1/L2）
结构损失	1 − SSIM(B̂, B)	结构相似性约束
对抗损失	min_G max_D 生成器/判别器博弈	感知质量（GAN 系）
交叉熵	−Σ p log q	雨密度分类引导去雨（DID-MDN 等）
KL 散度	Σ p log(p/q)	GT 与去雨图分布相似度
全变分 TV	‖∇ₕB̂‖₁ + ‖∇ᵥB̂‖₁	平滑先验（半监督系常用）
对比损失	InfoNCE，正负样本 + 温度 τ	感知质量（无监督系）
准稀疏	‖ωᵢ,ₖ∗B̂‖₁ + ‖ωᵢ,ₖ∗(R−B̂)‖₁	清晰图内在稀疏先验

蒸馏观点 ：实际方法几乎都是"L1/L2 主损失 + 1~2 个上述辅助损失"的组合拳；半监督系偏爱 TV，无监督系偏爱对比损失------损失函数的选择本身就是方法分类的侧写。

五、数据集谱系与 HQ-RAIN 的三步构建法

5.1 现有数据集三层楼

第一层 · 早期合成（2017--2018，样本量小、雨型单一） ：

Rain12（仅12张测试图）、Rain100L/H（1800训练/100测试）、DDN-Data/Rain1400（12600/1400，每张干净图配14种雨向雨密）、Rain800（700/100）

第二层 · 增强合成（引入密度/深度/方向/混合训练） ：

DID-Data/Rain1200（三种雨密度）、Outdoor-Rain（带深度信息合成雨积累）、Rain13K（13712训练 + 5个测试集------混合赛道标准配置）、RainDirection（2920张带方向标签高清图）

第三层 · 场景与真实：

下游场景类：MPID（自动驾驶，雨纹+雨滴+雨雾）、RainCityscapes、RainDS（Syn+Real）
真实配对类：RainDrop（双玻璃对齐拍摄）、SPA-Data（视频百分位滤波得 GT）、GT-RAIN（31524对）、LHP-Rain（3000段视频超百万帧，含地面溅射）

共同问题：合成集"往任意干净图上随机加雨"→ 真实感差（晴天蓝天上出现清晰雨纹）→ 域差大；真实集则对齐困难、外观受限。

5.2 HQ-RAIN 三步构建法（本文最有工程价值部分）

Step 1 · 背景收集（GT 质量同样重要------前人普遍忽视）

Scrapy 爬取 Google 图 + DPED / RainDS 精选；
严格过滤：低分辨率、水印、压缩伪影、模糊，所有蓝天区域一律剔除（雨天应是阴天低亮度）；
覆盖城市街景/建筑/自然山湖、白天与夜间。

Step 2 · 雨纹合成（运动模糊建模）

S = K ( l , θ , w ) ∗ N ( n ) S = K(l, \theta, w) * N(n) S=K(l,θ,w)∗N(n)

N：随机噪声掩码（均匀随机数 + 阈值控制噪声量 n∈ $100,300$ ）；
K：运动模糊核，长度 l∈ $20,40$ 、角度 θ∈ $40°,120°$ ，旋转对角核 + 高斯模糊控制雨丝厚度 w∈ $3,7$ ；
一次建模同时吃到雨纹两大物理特性：可重复性与方向性，且比 Photoshop 手工合成灵活得多。

Step 3 · 图像融合（alpha blending，本文首创引入）

R r , g , b = α ⊙ S + ( 1 − α ) ⊙ B R_{r,g,b} = \alpha \odot S + (1-\alpha) \odot B Rr,g,b=α⊙S+(1−α)⊙B

α∈ $0.8, 0.9$ ，RGB 三通道分别处理；
不再"复制粘贴"式线性叠加，雨层与背景半透明分层 → 天空等区域不再违和。

产出：训练 4500 张 + 测试 500 张，平均分辨率 1367×931；另有 RE-RAIN（300 张精选真实雨图，无 GT，专测泛化）。

自述局限：未建模大雨雨幕（veiling effect）、夜间雨场景需专门设计------恰好是后续可以做的坑。

5.3 三重质量验证

用户研究：30 人（15男15女）× 7 数据集 × 10 图，5 点 Likert 评分，HQ-RAIN 真实感全面第一；
KLD 客观验证：与真实雨图分布的 KL 散度，HQ-RAIN 显著低于 Rain100/Rain800/DDN/DID；
泛化验证：同一模型（Uformer）分别在各合成集上训练，HQ-RAIN 训出的模型在真实图上表现最好。

六、双赛道统一评测结果（核心实验）

6.1 赛道设定

赛道	训练数据	测试数据	定位
混合训练赛道	Rain13K（13712张混合）	Test100 / Rain100H / Rain100L / Test2800 / Test1200	图像修复通用玩法，训练一次快速评
独立训练赛道	各数据集单独训练	Rain200L / Rain200H / DID-Data / DDN-Data / SPA-Data	去雨传统玩法（注：选 Rain200 而非 Rain100，避免背景重复）

统一口径：官方代码 + 相同实现 + PSNR/SSIM（DRSformer 之后按 Y 通道 YCbCr 计算）。

6.2 混合赛道（15 方法，Table IV）

冠军：Restormer（平均 PSNR/SSIM 双第一）；
PSNR 第二：DGUNet+（深度广义展开网络）；SSIM 第二：MAXIM-2S；
Transformer 系（MAXIM-2S、Restormer）对早期 CNN 的提升肉眼可见------非局部建模对高质量重建至关重要；
但所有方法在细节恢复上仍有缺口（视觉对比 Fig. 7）。

6.3 独立赛道（22 方法，Table V）

冠军：DRSformer （平均分第一），但 DRSformer / Restormer / IDT 三者差距已相当小------头部方法性能正在收敛；
视觉对比（Fig. 8）暴露共性问题：与雨纹方向/分布相似的图像内容（如斜向纹理"spar"）会被误删------没有任何方法能在去雨的同时完整保住原始细节。

6.4 HQ-RAIN / RE-RAIN 新基准（10 方法，Table VI）------最反直觉的结果

10 个方法（6 CNN：LPNet / PReNet / JORDER-E / RCDNet / HINet / SPDNet + 4 Transformer：Uformer / Restormer / IDT / DRSformer）在 3090 上用官方代码统一重训：

结论	证据
合成域：Transformer 仍霸榜	HQ-RAIN 上 DRSformer、Restormer 前二；CNN 中 HINet 有竞争力
真实域：风向反转	RE-RAIN 无参考指标（NIQE/PIQE/BRISQUE）上，DRSformer 与 Restormer 泛化不佳
多数 CNN 泛化优于 Transformer	原因：CNN 系普遍融入了领域知识（雨结构、卷积核先验）指导设计
轻量网络也有高光	LPNet 在 RE-RAIN 视觉对比中反而生成较自然的去雨结果

这条结论与王红综述 2.4 节遥相呼应 ：2019 年 RESCAN 合成第一、真实输给 JCAS；2025 年 DRSformer/Restormer 合成第一、真实输给 CNN。六年过去，"合成榜冠军 ≠ 真实场景强者"这条规律从未失效------这是给所有刷榜者的持续警示，也是张娟项目改造路线选择半监督 + 领域知识方向的最硬证据。

6.5 效率与下游应用

复杂度（256×256 输入）：LPNet 全场最低（领域知识简化学习）；HINet 参数量高达 88.67M；DRSformer 因 top-k 注意力 FLOPs 偏高；Transformer 系推理普遍慢------高效模型仍是开放问题；
下游检测 （BDD350 高质量版 + YOLOv3 测 mAP/mAR）：所有去雨方法都能不同程度提升检测精度，但 RCDNet（王红博论同款）出人意料地最稳健------可解释的雨字典模型更好地保护了语义信息；IDT / DRSformer 在高 IoU 阈值下性能快速退化。

七、未来方向（综述第六节 + 蒸馏注解）

退化过程建模：线性叠加模型不足以描述真实退化；现有硬件采集方案在图像多样性与复杂环境（低光、雾）覆盖上仍不足；
高质量模型：① 语义分割识别天空/道路等区域，分区差异化去雨（不等信息量）；② 生成模型（VQGAN/扩散）建模清晰图像分布；③ 从大规模预训练模型蒸馏知识或提示学习；
高效模型：剪枝、降维、特征复用、知识蒸馏、NAS；
任务协同 ：去雨不再只做预处理/后处理，与高层任务互相促进；多视角雨纹信息 + 3D Gaussian Splatting 联合雨天三维重建------综述点名的最新交叉方向。

八、与你的复现/项目谱系的关系

评测规则工具化：以后所有去雨复现实验（含 VDMamba 增量计划 E0-E3）报告分数时，建议注明赛道（混合/独立）、测试集版本（Rain100 vs Rain200）、指标通道（RGB/Y）与 YCbCr 工具（MATLAB/OpenCV）------这正是本综述反复强调的"公平比较四要素"；
E0 跨域矩阵的参照系：本综述 Table VI 的"合成强 ≠ 真实强"结论，可直接作为 E0 实验（三权重×三测试集零训练评测）结果解读的理论框架；
张娟 MG-TSKD 改造：6.4 节给"领域知识 + 半监督"路线提供了 TPAMI 级背书------学生网络不必追合成榜 SOTA，融合雨结构先验 + 无标签真实数据的半监督损失才是泛化正道；
DRSformer 复现性价比：官方代码 + top-k 稀疏注意力，3090 单卡可训（本综述所有重训即 3090 平台），是继 VDMamba 之后的下一个候选复现目标；
与视频去雨系列的接口：本文只做单幅（明确排除视频），但 HQ-RAIN 的"运动模糊合成 + alpha 融合"两步，完全可以迁移到视频去雨数据增强------与 VDMamba E1 混合训练实验的 list 扩充策略互补。

附录 A：术语速查

术语	含义
LSM/SBM/HRM/DRM/TMM/RMM/MRM	七类雨成像模型（见第二节表）
Mixed / Independent track	混合训练赛道 / 独立训练赛道
Rain13K	混合赛道标准训练集（13712 对 + 5 测试集）
HQ-RAIN / RE-RAIN	本文新合成基准（5000 对）/ 新真实泛化测试集（300 张无 GT）
DRSformer	top-k 稀疏注意力去雨 Transformer（CVPR 2023，本综述一作前作）
Restormer	转置自注意力图像修复 Transformer（CVPR 2022），混合赛道冠军
alpha blending	半透明分层融合，HQ-RAIN 和谐度的来源
KLD	KL 散度，本文用于量化合成集与真实集分布距离

附录 B：本地材料索引

论文 PDF：H:\zj\视频去雨综述论文\Towards Unified Deep Image Deraining_ A Survey and a New Benchmark(科研通-单幅图像去雨综述).pdf（20 页）
全文抽取：H:\zj\视频去雨综述论文\unified_deraining_survey_extracted.txt（本次蒸馏产出，98k 字符）
姊妹篇：C:\Users\18200238203\WorkBuddy\2026-10-10-10-38-01\视频去雨_论文蒸馏笔记.md（王红综述 + RainMamba/VDMamba/LoViF）
在线平台：http://www.deraining.tech/