RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
修复bug12 分钟前
trae.ai 编辑器:前端开发者的智能效率革命
人工智能·编辑器·aigc
TGITCIC4 小时前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
墨风如雪5 小时前
别再用Midjourney了!GPT-4O一键生成高赞图片 保姆级教程
aigc
劲速云算力6 小时前
云算力:AIGC 时代的 “数字能源”
aigc·能源
Java中文社群1 天前
SpringAI用嵌入模型操作向量数据库!
后端·aigc·openai
程序员X小鹿1 天前
5个免费可用AI声音克隆工具,90%的人都不知道!建议收藏,早晚用得上!(附保姆级教程)
aigc
在下_诸葛1 天前
DeepSeek的API调用 | 结合DeepSeek API文档 | Python环境 | 对话补全(二)
人工智能·python·gpt·prompt·aigc
祯民1 天前
《生成式 AI 应用开发:基于 OpenAI API 开发》实体书上架
前端·aigc·openai
云动雨颤1 天前
AI训练师入行指南(六):模型部署
人工智能·aigc
TGITCIC1 天前
BERT与Transformer到底选哪个-上部
人工智能·gpt·大模型·aigc·bert·transformer