RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
洞窝技术27 分钟前
洞窝基于RAG+Dify+钉钉快速搭建智能问答工具的落地实践
aigc·openai
用户5191495848456 小时前
强大的OSINT情报工具:Blackbird用户名与邮箱搜索分析平台
人工智能·aigc
用户5191495848456 小时前
30条顶级APT与蓝队攻防单行命令:网络战场终极对决
人工智能·aigc
没事学点AI小知识7 小时前
临时邮箱 MCP Server
aigc·mcp
Mintopia7 小时前
🤖 AIGC + CMS:内容管理系统智能化的核心技术支撑
前端·javascript·aigc
PetterHillWater8 小时前
ClaudeCode实现简单需求文档分析与拆分
aigc
过河卒_zh15667669 小时前
AI内容标识新规实施后,大厂AI用户协议有何变化?(二)百度系
人工智能·算法·aigc·算法备案·生成合成类算法备案
墨风如雪18 小时前
小小身材,大大智慧:MiniCPM 4.1 的端侧AI“深思考”之路
aigc
canonical_entropy20 小时前
可逆计算:一场软件构造的世界观革命
后端·aigc·ai编程
堆栈future21 小时前
我的个人网站上线了,AI再一次让我站起来了
程序员·llm·aigc