RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs(IEEE,2023,8)

Paper
GitHub

动机:认为之前的模型都只关注了图像的纹理信息,而忽视了人脸的细节信息,本文采用多尺度、交叉注意力的方式引入模型的语义信息.

总体可以分为两大部分:

  • Encoder和Decoder部分,Encoder和Decoder部分整体类似于transformer,只不过QKV并不是采用的Linear,而是Conv2D来进行映射的
  • VQVAE部分.VQVAE在Encoder和Decoder中间的潜空间进行的,并且VQVAE的输出作为Decoder的Q来进行Cross Attention,作者认为之间构建的Facial Component Dictionary并没有包含足够的语义信息,通过VQVAE进行编码的ROHQD能够包含更多的细节信息.

  • EDM,Extending Degraded Model,为了构建和真实世界类似的模糊的数据集,必须要使用一个模型模拟真实世界图像的退化过程.本文这个EDM缝合和高斯噪声、雾化等过程.

另吐槽:本文用了大量的辅助loss函数,似乎为了增强指标,具体有perceptual loss、discriminator loss、identity loss,并且判别损失不仅用在图像,也用在了对人脸关键部位的判别上.

TODO:之后在做超分的任务时可以关注一下这个EDM构造数据集的做法.

相关推荐
蚂小蚁2 小时前
AI+云编程搞定Web3游戏开发:下一代游戏的新基建
web3·aigc·ai编程
DisonTangor3 小时前
月之暗面开源 Kimi-Audio-7B-Instruct,同时支持语音识别和语音生成
人工智能·开源·aigc·语音识别
一只韩非子4 小时前
什么是MCP?为什么引入MCP?(通俗易懂版)
人工智能·aigc·mcp
Brady9516 小时前
爆火的Agent智能体到底是什么?为何被称作ChatGPT的'终极进化版'?
aigc
BWrong6 小时前
MCP(Model Context Protocol)入门与实践
aigc·ai编程
win4r6 小时前
🚀AutoGen重大更新!新增McpWorkbench完美支持MCP Server!支持将Agent和Team封装为工具!开启模块化智能体编程!实战教程:从零
aigc·openai·ai编程
墨风如雪8 小时前
成本狂降80%!文心4.5/X1 Turbo重塑AI格局:百度这场发布会太燃了!
aigc
Mu先生Ai世界8 小时前
主流 AI 生成 3D 技术流派辨析:Text-to-3D, Image-to-3D 与 NeRF 应用概览 (AI+3D 产品经理笔记 S2E02)
aigc·产品经理
阿乐去买菜8 小时前
很喜欢Vue,但还是选择了React: AI时代的新考量
前端·aigc
FrontBurgess8 小时前
Chrome扩展开发实战:打造你的GPT助手(仿豆包、sider谷歌插件)
前端·github·aigc