RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
游戏智眼23 分钟前
中国团队发布通用型AI Agent产品Manus;GPT-4.5正式面向Plus用户推出;阿里发布并开源推理模型通义千问QwQ-32B...|游戏智眼日报
人工智能·游戏·游戏引擎·aigc
挣扎与觉醒中的技术人25 分钟前
如何优化FFmpeg拉流性能及避坑指南
人工智能·深度学习·性能优化·ffmpeg·aigc·ai编程
杀生丸学AI12 小时前
【三维生成】StarGen:基于视频扩散模型的可扩展的时空自回归场景生成
机器学习·aigc·三维重建·3dgs·稀疏重建·深度补全·自回归模型
TGITCIC16 小时前
大模型为何无法达到AGI?
ai·大模型·aigc·agi·大模型发展·大模型未来·ai与人
LeeZhao@16 小时前
【AGI】智谱开源2025:一场AI技术民主化的革命正在到来
人工智能·开源·aigc·语音识别·agi
EdisonZhou16 小时前
基于Microsoft.Extensions.AI核心库实现RAG应用
llm·aigc·.net core
牛奶18 小时前
前端学AI:基于Node.js的LangChain开发-知识概念
前端·人工智能·aigc
同学小张18 小时前
Ollama有安全漏洞! 国家网络安全通报中心紧急通报
人工智能·gpt·学习·安全·web安全·aigc·agi
晨航19 小时前
北京大学第四弹:《DeepSeek原理和落地应用》
人工智能·ai·prompt·aigc
Rolei_zl19 小时前
AIGC(生成式AI)试用 26 -- 跟着清华教程学习 - 个人理解
aigc