RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
万少8 小时前
AI编程神器!Trae+Claude4.0 简单配置 让HarmonyOS开发效率飙升 - 坚果派
前端·aigc·harmonyos
墨风如雪8 小时前
你的桌面,就是好莱坞:阿里万相2.2如何掀起视频创作革命
aigc
就保持无感15 小时前
Prompt 调优工具:PromptPilot(字节)
aigc·ai编程
小子阿四15 小时前
WaveSpeedAI是世界上第一个接Wan 2.2 API的平台
人工智能·aigc
量子位16 小时前
狂拿大模型明星订单,一家清华系HPC-AI Infra公司浮出水面
aigc·ai编程
redreamSo19 小时前
AI Daily | AI日报:Synthesia CEO:不招精英的AI视频独角兽; WAIC 2025大模型论坛:行业大佬硬核辩论; 毕树超:十年转变,深信AGI已至!
程序员·aigc·资讯
阑梦清川21 小时前
关于ticnote笔记工具的使用介绍
aigc
强德亨上校21 小时前
2025年7月21–28日AI开发周报:新模型、新战略与开源亮点
人工智能·科技·gpt·chatgpt·开源·aigc
算家计算21 小时前
FLUX.1 Kontext LoRA专用炼丹炉使用教程:加快训练进程,减少实例费用消耗!
人工智能·开源·aigc
程序员海军1 天前
使用 Kiro AI IDE 3小时实现全栈应用Admin系统
前端·后端·aigc