【大模型学习 | MINIGPT-4原理】

MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS

在GPT4未开源的情况下,作者认为其表现优越是因为采用了最为先进的LLM模型,因此,作者在BLIP2的基础上,将LLM模型替换为了Vicuna,同样也是通过一个线性映射层将图像表征映射为LLM的输入。此外,作者还提出只在短标题文本对上训练会出现不自然的语言描述(重复)。因此作者也构建了一个更加详细的图像描述数据集。

开源代码:https://minigpt-4.github.io/

一、预训练方法

预训练方法几乎和BLIP2模型一致,可以参考:【大模型学习 | BLIP2原理】-腾讯云开发者社区-腾讯云

1.1 Q-Former

主要作用就是对齐两个不同模态的冻结预训练模型

🟢 Q-Former包含了两个transformer子模块:(1)Image Transformer (特征提取) (2) Text transformer (作为文本编码器和解码器) ;

🟢 一组可学习的查询嵌入向量作为 Image Transformer 的输入,这些向量在self-attention layer相互联系以及通过 cross-attention layer与预训练的图像模型特征交互; 除此之外,这组可学习的嵌入向量也与文本token进行拼接作为Text transformer的输入;

🟢 将Q-Former初始化为 BERT base \text{BERT}_{\text{base}} BERTbase, cross-attention layer是随机初始化的;同时查询向量的大小为:( 32 × 768 32 \times 768 32×768)

1.2 视觉语言特征表示学习

第一阶段的训练目标是基于文本对,通过 Q-Former 与冻结图像编码器,使得可学习的 query 向量能够从图像中提取出与文本语义最相关、最具信息量的视觉特征。在这个阶段中,采用了与BLIP预训练过程近似的目标损失:Image-Text Contrastive Learning (ITC) 、Image-grounded Text Generation (ITG)、Image-Text Matching (ITM).

🟢 ITC:图像、文本特征对比学习,通过可学习的查询向量和Text transformer中的[CLS]计算相似度,为了防止数据泄露,采用unimodal self-attention,禁止 query 与文本 token 之间的直接交互;

🟢 ITG:将可学习的向量作为条件输入,以自回归的方式生成图像描述,采用了causal self-attention mask

🟢 ITM:二分类匹配任务,采用bi-directional self-attention mask

1.3 图像到文本的生成学习

第二阶段利用LLM的生成语言的能力来训练Q-Former。将图像通过图像冻结模型和Image Transformer得到与文本语义最相关、最具信息量的视觉特征。接着通过一个全连接层的线性变换,将大小转换为符合到LLM模型中的输入维度。

🟢 在这个阶段中,作者采用了一个先进的语言模型Vicuna作为线性变换向量的输入。

二、数据与实验

2.1 数据

作者提出了短标题文本对对于模型的训练来说是不够的,会出现不自然标题的现象。因此,作者重新收集了另外3500个图像详细描述的图文对对模型进行微调。

2.2 实验
  • GPT-4对比:有许多相似功能,例如可以生成复杂图像描述,根据手写文字生成网站,解释不正常的现象;
  • BLIP2对比:根据食物图片生成详细的食谱,根据图片写诗;这些都是BLIP2不具备的功能;

🧠 MINI-GPT4表现比BLIP2要强上许多?

在生成式(generative)任务方向上,MiniGPT-4 的表现明显优于 BLIP-2。但这种差距主要体现在语言生成质量和自然语言理解上,而非底层模态对齐或通用图文任务能力。

① MiniGPT-4 使用的是 Vicuna(基于 LLaMA 的开源 ChatGPT 对话模型),具有更强的自然语言表达和指令理解能力;而BLIP-2 使用的 LLM 主要是 Flan-T5 或 OPT,虽然也支持问答,但语言生成的细腻度和上下文保持能力较弱。

② MiniGPT-4 在 Q-Former 采用描述更加细致的3600 条人工构造的图文指令数据进行微调

相关推荐
JXL186013 分钟前
机器学习概念(面试题库)
人工智能·机器学习
星期天要睡觉13 分钟前
机器学习深度学习 所需数据的清洗实战案例 (结构清晰、万字解析、完整代码)包括机器学习方法预测缺失值的实践
人工智能·深度学习·机器学习·数据挖掘
练习时长两年半的Java练习生(升级中)16 分钟前
从0开始学习Java+AI知识点总结-18.web基础知识(Java操作数据库)
java·学习·web
岁月静好202518 分钟前
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
人工智能·机器学习
说私域20 分钟前
基于开源 AI 大模型 AI 智能名片 S2B2C 商城小程序视角下的企业组织能力建设与破圈升级
人工智能·小程序
2401_8588698021 分钟前
K近邻算法(knn)
人工智能
Jayyih23 分钟前
嵌入式系统学习Day19(数据结构)
数据结构·学习
aneasystone本尊33 分钟前
学习 Coze Studio 的知识库入库逻辑(续)
人工智能
renhongxia134 分钟前
大模型微调RAG、LORA、强化学习
人工智能·深度学习·算法·语言模型
张较瘦_41 分钟前
[论文阅读] 人工智能 | 当Hugging Face遇上GitHub:预训练语言模型的跨平台同步难题与解决方案
论文阅读·人工智能·github