- 这是一篇港科大学生在google research 实习期间发在ECCV2024的语义引导生成式修复的文章,港科大陈启峰也挂了名字。从首页图看效果确实很惊艳,尤其是第三行能用文本调控修复结果牌上的字。不过看起来更倾向于生成,对原图内容并不是很复原(不过在生成式方法中已经做得很好了),适合超级噪声图这种原图信息丢失十分严重的场景:
- 整体方法流程如下图所示,用的是stable diffusion的框架,甚至模型参数都是pretrain好后fix住的,在此之上,用controlnet的风格添加了另外一部分网络,来接收restoration的描述和degraded image,网络中的feature来调制这个train好的stable diffusion的unet中的feature,然后是可train的:
- 现在diffusion有了两个目标,一个是原有的stable diffusion在denoise的过程中还是文本梯度,另一个是最终生成的图片要和输入的LQ图片内容一致,而这部分梯度分开由需要train的那个网络承担。:
- 可以看到,这个方法的PSNR确实不高,但是视觉效果真的很好,泛化性感觉也不错:
- 如果要一言以蔽之,这个工作可以说是controlnet的restoration 特供版,不过确实做得不错,可惜没看到有开源。
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
ssf-yasuo2024-11-08 11:47