多模态大模型调研BLIP、BLIP2、InstructBLIP









ITC:图像向量与文本向量对齐在同一特征空间

ITM:二分类任务。负样本构建:前方ITC分错的地方,在对比学习的基础上,更细粒度的对其特征。

LM:GPT的生成任务,将文本重新进行预测。

BLIP另一个贡献在于弱监督图文数据清洗方面 ,通过训练模型剔除了图文匹配度差以及对部分图文生成了更好的文本标注。

BLIP2

分两个阶段进行操作,首先是训练表征学习器。

Q-Former:桥梁,要训练的参数,将表征向量与文本向量进行对齐。

Learned Queries:可以学习的矩阵,不是我们输入的。

三个任务:

对比学习:更细粒度的分类

图文匹配:使用来自对比学习的负样本

图文生成:图像生成decoder。

图文匹配注意力:不存在遮挡,图片能看到文本,文本能看到图片。

文本生成任务注意力:存在遮挡

对比学习注意力:文本看不到图像,图像看不到文本。

BLIP2:微调Q-Former即可。

国产

BLIP2 +SAM

InstructBLIP:可以处理更复杂的视觉处理。

这张图片展示了不同任务(Tasks)下的Instruction Templates (指令模板)。这些任务包括Image Captioning (图像描述)、VQA (视觉问答),以及VQG(视觉问题生成)。表格中给出了每个任务对应的指令模板,用来生成或指导大模型执行特定任务。下面是每个部分的详细解释:

1. Image Captioning(图像描述)

任务:给定一幅图像,模型生成该图像的文字描述。

  • 指令模板中提供了许多变体,都是在要求模型描述图像内容。模板使用了类似的短语,包括:
    • "A short image caption:"(简短的图片标题)
    • "Provide a description of what is presented in the photo."(描述图片中展示的内容)
    • "Please provide a short depiction of the picture."(请简短描述图片)
    • "Use a few words to illustrate what is happening in the picture."(用几句话描述图片中发生的事情)

这些指令引导模型生成图像的简要描述,主要任务是让模型理解图片的内容并生成相关文本。

2. VQA (Visual Question Answering, 视觉问答)

任务:给定一幅图像和一个问题,模型需要基于图像回答问题。

  • 指令模板使用了各种方法来呈现问题,例如:
    • " {Question}"(图片加问题)
    • "Q: {Question} A:"(问题与回答)
    • "Given the image, answer the following question with no more than three words: {Question}"(给定图像,使用不超过三个词语回答下列问题)
    • "What is the answer to the following question? {Question}"(问题的答案是什么?)

这些模板要求模型基于图像信息回答所提出的问题,且有时会限制回答的字数。

3. VQG (Visual Question Generation, 视觉问题生成)

任务:给定一幅图像和一个答案,模型需要基于图像生成相应的问题。

  • 指令模板引导模型生成问题,指令中通常包含答案提示:
    • "Given the image, generate a question whose answer is: {Answer}. Question:"(给定图片,生成答案为{Answer}的问题)
    • "Based on the image, provide a question with the answer: {Answer}."(基于图片,生成答案为{Answer}的问题)
    • "Taking the image into account, generate a question that has the answer: {Answer}."(基于图片,生成答案为{Answer}的问题)

这些模板指引模型生成与图片相关的、能得到指定答案的问题,目的是测试模型生成合适问题的能力。

总结

这张表格总结了在不同任务(如图像描述、视觉问答、视觉问题生成)中,如何向大语言模型提供不同形式的指令模板。每个任务的指令稍有不同,以适应任务要求。例如,图像描述任务要求生成简短的描述,视觉问答则要求根据图像回答问题,而视觉问题生成任务则要求模型根据图像和预设答案生成问题。

这些指令模板有助于增强模型的多任务处理能力,使其能够更好地理解和执行不同的视觉相关任务。

相关推荐
说私域26 分钟前
“互联网 +”时代商业生态变革:以开源 AI 智能名片链动 2+1 模式 S2B2C 商城小程序为例
人工智能·小程序·开源
stbomei28 分钟前
AI大模型如何重塑日常?从智能办公到生活服务的5个核心改变
人工智能
酷飞飞30 分钟前
错误是ModuleNotFoundError: No module named ‘pip‘解决“找不到 pip”
人工智能·python·pip
点云SLAM1 小时前
PyTorch 中.backward() 详解使用
人工智能·pytorch·python·深度学习·算法·机器学习·机器人
androidstarjack1 小时前
波士顿动力给机器人装上AI大脑,人类故意使绊子也不怕了!
人工智能·机器人
Learn Beyond Limits2 小时前
Transfer Learning|迁移学习
人工智能·python·深度学习·神经网络·机器学习·ai·吴恩达
程序员三明治2 小时前
三、神经网络
人工智能·深度学习·神经网络
hundaxxx4 小时前
自演化大语言模型的技术背景
人工智能
数智顾问4 小时前
【73页PPT】美的简单高效的管理逻辑(附下载方式)
大数据·人工智能·产品运营
love530love4 小时前
【保姆级教程】阿里 Wan2.1-T2V-14B 模型本地部署全流程:从环境配置到视频生成(附避坑指南)
人工智能·windows·python·开源·大模型·github·音视频