RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
mys55183 小时前
从传统SEO到GEO:杨建允在AI搜索优化领域的贡献和行业应用成果
aigc·geo·ai搜索优化·生成式引擎优化·geo优化·ai引擎优化
葡萄城技术团队6 小时前
AI 基础设施指南:工具、框架与架构流程
aigc
葡萄城技术团队7 小时前
面向智能体与大语言模型的 AI 基础设施:选项、工具与优化
aigc
野生程序猿江辰10 小时前
Mesh AI 让每一位 3D 创作者和 3D 打印者都能轻松把想象变为现实。
aigc·unity3d
虎冯河21 小时前
图像,视频Lora模型训练的Timestep Type时间步类型
aigc·comfyui·模型训练·1024程序员节
墨风如雪1 天前
AipexBase:AI时代,前端真的能“独立建国”了?
aigc
倔强的石头_1 天前
2025长沙1024程序员日:为开发者职业发展插上腾飞之翼
aigc
扑克中的黑桃A1 天前
2025长沙1024程序员日:为开发者职业发展插上腾飞之翼
aigc
咕咚-萌西1 天前
When NOMA Meets AIGC: Enhanced WirelessFederated Learning
aigc
AAA阿giao1 天前
深入理解 OpenAI AIGC 模型与 Node.js 实战:从零构建歌词生成应用
aigc·openai