【CVPR-2023】DR2:解决盲人脸复原无法覆盖真实世界所有退化的问题

写在前面:本博客仅作记录学习之用,部分图片来自网络,如需引用请注明出处,同时如有侵犯您的权益,请联系删除!


文章目录


前言

盲人脸复原通常将退化的低质量数据与预定义的退化模型进行训练,不足以囊括真实世界中的更复杂的退化场景;因此在复原真实退化时候经常观察到伪影。同时,构建训练集以覆盖真实世界的各种退化是不可能的。

本文为了解决这个问题,提出了一种两阶段的复原方法即基于扩散的鲁棒退化去除器(DR2),先将退化图像转换为粗糙但退化不变的预测,然后使用增强模块将粗糙预测恢复为高质量图像,使得DR2对常见的退化具有鲁棒性(例如模糊,调整大小,噪音和压缩)和兼容不同的设计增强模块。


论文

论文名: DR2:Diffusion-based Robust Degradation Remover for Blind Face Restoration

论文速递: 点我转跳哦

代码通道: Gitee

论文内容

不同退化的可分离性

  • 左侧:不同的退化类型与原始分布是具有明显区分度。
  • 右侧:添加高斯噪声或者说在进行若干次扩散后,不同的退化类型的数据分布变得难以区分。
  • 所以:不管是什么退化类型,选择一个能从噪声图像中恢复出原始干净的人脸图像的模型,作为退化移除模块是可行。

DR2包含退化消除模块的和增强模块,在推理中,通过扩散过程对 y τ , y τ + 1 , . . . . , y w y_{\tau},y_{\tau +1},....,y_w yτ,yτ+1,....,yw 进行采样,并将其作为指导。同时使用 y w y_w yw 作为 x w x_w xw,并从步骤 w w w 到 τ \tau τ 开始去噪过程。在每次从 x τ x_{\tau} xτ 到 x τ − 1 x_{\tau-1} xτ−1 的转换之后,将 y t − 1 y_{t-1} yt−1 的低频和 x t − 1 x_{t-1} xt−1 的高频结合起来。

假设:

  • (1) 存在一个中间时间步长 τ {\tau} τ,使得对于 t > τ t>{\tau} t>τ, q ( x t ∣ x ) q ( x _ { t } | x ) q(xt∣x) 和 q ( y t ∣ y ) q ( y _ { t } | y ) q(yt∣y)之间的距离接近,特别是在低频部分;
  • (2)存在 w > τ w>{\tau} w>τ, 使得 q ( x w ∣ x ) q ( x _ { w} | x ) q(xw∣x) 和 q ( y w ∣ y ) q ( y _ {w } | y ) q(yw∣y)之间的距离最终足够小,满足 q ( x w ∣ x ) ≈ q ( y w ∣ y ) q ( x _ { w} | x ) \approx q ( y _ {w } | y ) q(xw∣x)≈q(yw∣y)

创新:

  • 迭代优化: 其中 Φ N ( ⋅ ) \Phi N ( \cdot ) ΦN(⋅) 表示低通滤波器 (退化图像中有效的高频部分很少),确保语义一致。
  • 进一步提升得到的图像质量,引入增强模块,如SPARNetHD和VQFR等都可以。

实验



在合成数据集和真实数据集上都展现了DR2的优异性能,超过一众SOTA方法。

总结

总结: DR2是一个两阶段的盲人脸恢复框架,利用预训练的DDPM从输入中去除退化,以及用于细节恢复的增强模块。在第一阶段,DR 2通过使用扩散的低-质量信息作为条件来指导生成过程。大量的比较表明,该转换具有很强的鲁棒性和DR2 框架的恢复质量很好。


互动

  • 该文章对你有启发吗?

欢迎在评论区解答上述问题,分享你的经验和疑问!

当然,也欢迎一键三连给我鼓励和支持:👍点赞 📁 关注 💬评论。


致谢

欲尽善本文,因所视短浅,怎奈所书皆是瞽言蒭议。行文至此,诚向予助与余者致以谢意。


参考

1\] [DR2_Drgradation_Remover](https://gitee.com/qianxdong/DR2_Drgradation_Remover) \[2\] [DR2:Diffusion-based Robust Degradation Remover for Blind Face Restoration](https://openaccess.thecvf.com/content/CVPR2023/papers/Wang_DR2_Diffusion-Based_Robust_Degradation_Remover_for_Blind_Face_Restoration_CVPR_2023_paper.pdf)


往期回顾

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 👆 DeepSeek本地化部署保姆级教程👆 | 👆 EfficientTrain++帮你降低网络训练的成本👆 | 👆 PyCharm环境下Git与Gitee联动👆 |

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 👆 Ping通但SSH连接失败的解决办法👆 | 👆 轻量化设计如何提高模型的推理速度👆 | 👆 正则化与正则剪枝👆 |

相关推荐
有Li18 小时前
CXR-LT 2024:一场关于基于胸部X线的长尾、多标签和零样本疾病分类的MICCAI挑战赛|文献速递-深度学习人工智能医疗图像
论文阅读·人工智能·算法·医学生
B612 little star king1 天前
UNIKGQA论文笔记
论文阅读·人工智能·笔记·自然语言处理·知识图谱
勤劳的进取家1 天前
论文阅读:Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
论文阅读·人工智能·机器学习·语言模型·自然语言处理
0x2112 天前
[论文阅读]Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools
论文阅读
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 当AI成为文学研究员:Agentic DraCor如何用MCP解锁戏剧数据分析
论文阅读·人工智能·软件工程
Caaacy_YU2 天前
多模态大模型研究每日简报【2025-08-21】
论文阅读·人工智能·机器学习·计算机视觉
Mr Sorry3 天前
Non-stationary Diffusion For Probabilistic Time Series Forecasting论文阅读笔记
论文阅读·笔记
dundunmm3 天前
【论文阅读】SIMBA: single-cell embedding along with features(2)
论文阅读·人工智能·embedding·生物信息·单细胞·多组学·细胞类型识别
王上上3 天前
【论文阅读69】-DeepHGNN复杂分层结构下的预测
论文阅读
AustinCyy3 天前
【论文笔记】STORYWRITER: A Multi-Agent Framework for Long Story Generation
论文阅读