【大模型学习 | MINIGPT-4原理】

MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS

在GPT4未开源的情况下,作者认为其表现优越是因为采用了最为先进的LLM模型,因此,作者在BLIP2的基础上,将LLM模型替换为了Vicuna,同样也是通过一个线性映射层将图像表征映射为LLM的输入。此外,作者还提出只在短标题文本对上训练会出现不自然的语言描述(重复)。因此作者也构建了一个更加详细的图像描述数据集。

开源代码:https://minigpt-4.github.io/

一、预训练方法

预训练方法几乎和BLIP2模型一致,可以参考:【大模型学习 | BLIP2原理】-腾讯云开发者社区-腾讯云

1.1 Q-Former

主要作用就是对齐两个不同模态的冻结预训练模型

🟢 Q-Former包含了两个transformer子模块:(1)Image Transformer (特征提取) (2) Text transformer (作为文本编码器和解码器) ;

🟢 一组可学习的查询嵌入向量作为 Image Transformer 的输入,这些向量在self-attention layer相互联系以及通过 cross-attention layer与预训练的图像模型特征交互; 除此之外,这组可学习的嵌入向量也与文本token进行拼接作为Text transformer的输入;

🟢 将Q-Former初始化为 BERT base \text{BERT}_{\text{base}} BERTbase, cross-attention layer是随机初始化的;同时查询向量的大小为:( 32 × 768 32 \times 768 32×768)

1.2 视觉语言特征表示学习

第一阶段的训练目标是基于文本对,通过 Q-Former 与冻结图像编码器,使得可学习的 query 向量能够从图像中提取出与文本语义最相关、最具信息量的视觉特征。在这个阶段中,采用了与BLIP预训练过程近似的目标损失:Image-Text Contrastive Learning (ITC) 、Image-grounded Text Generation (ITG)、Image-Text Matching (ITM).

🟢 ITC:图像、文本特征对比学习,通过可学习的查询向量和Text transformer中的[CLS]计算相似度,为了防止数据泄露,采用unimodal self-attention,禁止 query 与文本 token 之间的直接交互;

🟢 ITG:将可学习的向量作为条件输入,以自回归的方式生成图像描述,采用了causal self-attention mask

🟢 ITM:二分类匹配任务,采用bi-directional self-attention mask

1.3 图像到文本的生成学习

第二阶段利用LLM的生成语言的能力来训练Q-Former。将图像通过图像冻结模型和Image Transformer得到与文本语义最相关、最具信息量的视觉特征。接着通过一个全连接层的线性变换,将大小转换为符合到LLM模型中的输入维度。

🟢 在这个阶段中,作者采用了一个先进的语言模型Vicuna作为线性变换向量的输入。

二、数据与实验

2.1 数据

作者提出了短标题文本对对于模型的训练来说是不够的,会出现不自然标题的现象。因此,作者重新收集了另外3500个图像详细描述的图文对对模型进行微调。

2.2 实验
  • GPT-4对比:有许多相似功能,例如可以生成复杂图像描述,根据手写文字生成网站,解释不正常的现象;
  • BLIP2对比:根据食物图片生成详细的食谱,根据图片写诗;这些都是BLIP2不具备的功能;

🧠 MINI-GPT4表现比BLIP2要强上许多?

在生成式(generative)任务方向上,MiniGPT-4 的表现明显优于 BLIP-2。但这种差距主要体现在语言生成质量和自然语言理解上,而非底层模态对齐或通用图文任务能力。

① MiniGPT-4 使用的是 Vicuna(基于 LLaMA 的开源 ChatGPT 对话模型),具有更强的自然语言表达和指令理解能力;而BLIP-2 使用的 LLM 主要是 Flan-T5 或 OPT,虽然也支持问答,但语言生成的细腻度和上下文保持能力较弱。

② MiniGPT-4 在 Q-Former 采用描述更加细致的3600 条人工构造的图文指令数据进行微调

相关推荐
go546315846512 分钟前
基于LSTM和GRU的上海空气质量预测研究
图像处理·人工智能·深度学习·神经网络·算法·gru·lstm
AKAMAI15 分钟前
借助Early Hints和HarperDB改善网页性能
人工智能
缘友一世24 分钟前
Agent常用搜索引擎Tavily使用学习
学习·搜索引擎·agent
亿坊电商27 分钟前
AI 数字人在处理音频时,如何确保声音的自然度?
人工智能·算法·音视频
愚戏师36 分钟前
机器学习(重学版)基础篇(概念与评估)
人工智能·机器学习
超浪的晨40 分钟前
JavaWeb 入门:JavaScript 基础与实战详解(Java 开发者视角)
java·开发语言·前端·javascript·后端·学习·个人开发
我有一计3331 小时前
【算法笔记】6.LeetCode-Hot100-链表专项
人工智能·算法·程序员
Magnetic_h1 小时前
【iOS】类和分类的加载过程
笔记·学习·ios·objective-c·xcode
新智元1 小时前
10亿天价挖角惨遭12人连环拒,小扎钞能力失灵!OpenAI系初创0人卖身
人工智能·openai
新智元1 小时前
ChatGPT「学习模式」火爆上线,一大波教育AI连夜被端!24小时导师免费用
人工智能·openai