PromptGIP:Unifying lmage Processing as Visual Prompting Question Answering

"Unifying Image Processing as Visual Prompting Question Answering" 文章提出了一种名为 PromptGIP 的通用模型,将图像处理任务统一为视觉提示问答范式,在多个图像处理任务上展现出良好性能,为通用图像处理提供了新的思路和方法。


conference:2024 ICLR

paper:https://arxiv.org/pdf/2310.10513v2

code:https://github.com/lyh-18/PromptGIP

文章目录

  • [1. 研究背景与目的](#1. 研究背景与目的)
    • [1.1 图像处理任务的重要性与传统方法的局限](#1.1 图像处理任务的重要性与传统方法的局限)
    • [1.2 大模型发展趋势与视觉领域的探索](#1.2 大模型发展趋势与视觉领域的探索)
    • [1.3 研究目的](#1.3 研究目的)
  • [2. 研究方法](#2. 研究方法)
    • [2.1 图像作为视觉问答](#2.1 图像作为视觉问答)
    • [2.2 掩码视觉提示范式](#2.2 掩码视觉提示范式)
  • [3. 实验设置与结果分析](#3. 实验设置与结果分析)
    • [3.1 实验任务设置](#3.1 实验任务设置)
    • [3.2 实验细节](#3.2 实验细节)
    • [3.3 实验结果分析](#3.3 实验结果分析)
  • [4. 研究结论与展望](#4. 研究结论与展望)
    • [4.1 研究结论](#4.1 研究结论)
    • [4.2 研究局限与展望](#4.2 研究局限与展望)

1. 研究背景与目的

1.1 图像处理任务的重要性与传统方法的局限

图像处理涵盖图像恢复、增强、特征提取等,是计算机视觉基础任务,用于提升图像质量和提取特征。传统方法需针对不同任务开发特定模型,如SRCNN用于超分辨率、DnCNN用于去噪等,但泛化能力有限。目前的 All-in-one 恢复方法虽能处理多种恢复任务,但在生成替代表示(如风格化图像或图像边缘)方面存在不足。

1.2 大模型发展趋势与视觉领域的探索

大模型在自然语言处理领域成功统一多种任务,计算机视觉领域也有类似趋势,如Meta AI的SAM用于图像分割,通过大规模预训练实现零样本泛化。然而,当前大模型多关注高级视觉任务,低级视觉任务受关注较少。

1.3 研究目的

提出PromptGIP模型,统一多种图像处理任务,包括图像恢复、增强、特征提取等,采用视觉提示问答范式,处理不同输出域任务,探索模型泛化能力,为通用图像处理提供新方法。

2. 研究方法

2.1 图像作为视觉问答

受NLP提示学习启发,将图像处理统一为视觉提示问答范式。模型推理时,依据输入输出图像对(作为任务提示)处理新输入图像生成预测输出。例如,输入"雨天 - 无雨"图像对提示,模型对目标输入图像执行去雨操作;若提示答案与图像边缘相关,模型对查询图像进行边缘检测。

2.2 掩码视觉提示范式

采用掩码自动编码方法(MAE),训练时对答案图像随机掩码,促使模型从无掩码部分重建。模型训练于包含不同图像处理目标(如恢复、增强、边缘检测)的数据集,推理时根据输入输出对执行相应操作。

3. 实验设置与结果分析

3.1 实验任务设置

实验包含15种图像处理任务,分为三类:

  • 图像恢复任务(10种):包括高斯噪声、高斯模糊、泊松噪声、椒盐噪声、JPEG压缩、振铃伪影、R - L算法、图像修复、雾霾、雨等类型的处理。针对前八种通过对ImageNet数据集引入失真创建退化 - 干净图像对,去雾利用RESIDE数据集的ITS训练集,去雨采用两种雨添加模型(Simple Rain Model和Complex Rain Model),并使用多个常用数据集组成Common528数据集用于测试。
  • 图像增强任务(2种):低光图像增强(LLE)采用LOL数据集训练,局部拉普拉斯滤波(LLF)通过对Adobe - MIT Fivek数据集的expert - C修饰图像应用局部拉普拉斯滤波器形成输入输出对,LLF用于边缘保留细节增强。
  • 图像边缘检测任务(2种):使用Canny和Laplacian算子,基于ImageNet数据集创建输入输出训练对。

3.2 实验细节

采用ViT - large作为骨干架构。在训练期间,模型以"Q - A - Q - A"模式处理四个256×256图像的序列,从而得到4×256×256的总输入分辨率。使用L1损失作为损失函数。在优化方面,采用带有余弦退火学习率调度器的AdamW优化器。基础学习率为1e - 4。批量大小为48。使用8个8TeslaV100GPUs进行训练。总共执行50个轮次。对于测试Painter和PromptGIP,为每个任务构建20个图像提示取最佳结果。

3.3 实验结果分析

  • 任务处理能力与视觉效果:PromptGIP能有效处理多种图像处理任务,视觉效果良好(如图5、6所示)。在图像恢复任务上表现出色,定量得分优于Real - ESRGAN等模型(如表1所示)。

  • QA范式和掩码训练策略有效性 :QA范式改进了模型性能,掩码训练策略增强了模型处理不同任务的能力及稳定性。如在图像去雾任务中,直接预测效果不佳,而掩码训练策略有效(如表3所示)。

  • 分布外任务泛化能力:模型在分布外任务(如混合退化恢复、颜色化、风格转移)上有一定泛化能力,但存在局限性,如无法完美处理未见过的混合退化图像和颜色化任务(如图8所示)。

4. 研究结论与展望

4.1 研究结论

PromptGIP模型可处理多种图像处理任务,通过视觉提示问答范式能解释任务线索并生成相关输出,具有一定泛化性。

4.2 研究局限与展望

模型在生成新兴结果方面能力有限,训练数据的质量、多样性和数量可能影响性能。当前骨干网络ViT在处理低级视觉任务时存在高频信息丢失问题,导致结果不理想,未来可采用更强的骨干模型提升性能,进一步探索模型在通用图像处理中的潜力。

相关推荐
Crossoads18 分钟前
【汇编语言】端口 —— 「从端口到时间:一文了解CMOS RAM与汇编指令的交汇」
android·java·汇编·深度学习·网络协议·机器学习·汇编语言
拓端研究室1 小时前
【专题】2024年悦己生活消费洞察报告汇总PDF洞察(附原数据表)
人工智能
月眠老师1 小时前
拓展AI超级智能后的人类生活场景
人工智能·生活
是十一月末1 小时前
Opencv实现图片的边界填充和阈值处理
人工智能·python·opencv·计算机视觉
机智的叉烧2 小时前
前沿重器[57] | sigir24:大模型推荐系统的文本ID对齐学习
人工智能·学习·机器学习
凳子花❀2 小时前
强化学习与深度学习以及相关芯片之间的区别
人工智能·深度学习·神经网络·ai·强化学习
泰迪智能科技014 小时前
高校深度学习视觉应用平台产品介绍
人工智能·深度学习
盛派网络小助手4 小时前
微信 SDK 更新 Sample,NCF 文档和模板更新,更多更新日志,欢迎解锁
开发语言·人工智能·后端·架构·c#
Eric.Lee20215 小时前
Paddle OCR 中英文检测识别 - python 实现
人工智能·opencv·计算机视觉·ocr检测
cd_farsight5 小时前
nlp初学者怎么入门?需要学习哪些?
人工智能·自然语言处理