RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
朱剑君3 小时前
Python——生成AIGC图像
人工智能·python·aigc
Neo很努力6 小时前
【deepseek】本地部署+RAG知识库挂载+对话测试
自然语言处理·chatgpt·langchain·aigc·llama
调皮的芋头17 小时前
iOS各个证书生成细节
人工智能·ios·app·aigc
OJAC近屿智能21 小时前
苹果新品今日发布,AI手机市场竞争加剧,近屿智能专注AI人才培养
大数据·人工智能·ai·智能手机·aigc·近屿智能
小天努力学java1 天前
DeepSeek、微信、硅基流动、纳米搜索、秘塔搜索……十种不同方法实现DeepSeek使用自由
aigc·deepseek
剑盾云安全专家1 天前
如何通过AI让PPT制作更轻松:从AI生成PPT到一键智能生成
人工智能·科技·aigc·powerpoint·软件
好评笔记1 天前
AIGC视频生成明星——Emu Video模型
人工智能·深度学习·机器学习·计算机视觉·面试·aigc·deepseek
LeeZhao@1 天前
【AIGC工具箱】AIGC重塑生活神器
人工智能·语言模型·aigc·生活
里清外明1 天前
大模型免费api调用系列:硅基流动
python·语言模型·aigc