论文阅读--LlaVA

数据

使用GPT-4,根据现有的图片对数据(image-pair data)收集指令跟随数据。作者团队收集了158,000个独特的语言-图像指令遵循样本,其中包括58,000个对话 样本、23,000个详细描述 样本和77,000个复杂推理样本

以图像描述为例:由图像Xv,图像的标题Xc组成的二元组可以对应一系列问题Xq(由GPT-4生成)来指示模型生成简单的描述。就可以将这个图像-文本对扩展为一个指令跟随数据:

Human : X_q, X_v <STOP>

Assistant : X_c <STOP>

但这样的扩展在深度和广度上都是不足的,交互性很弱,因此用GPT-4创建涉及视觉内容的指令遵循数据:

标题和边界框两种方法来将视觉信息传递给语言模型:

  • 标题(Caption) 提供了不同的视角下对图像的描述,例如不同的物体之间的位置关系,或者其中的人物正在做什么。
  • 边界框(Boxes) 定位了图像中的物体,以物体概念+位置信息的形式呈现(通常就是物体概念和矩形四个角的坐标构成)。

生成对话数据

助手(Assistance)会回答人类提出的在图像上具有明确答案的视觉问题(包括物体类型、数量、动作、位置等)

生成细节描述

创建了一个问题列表,提示GPT-4然后筛选出了如表中所示的问题。对于每个问题,从列表中抽取一个询问GPT-4以生成详细描述。

生成复杂推理数据

前面两种类型更多的是描述图片中存在的信息,而该问题需要在前两步的基础上遵循严格的逻辑,推理出一些信息出来

网络

LLaVA 的模型结构很简单,使用预训练的 Visual Encoder(CLIP ViT-L/14)和 LLM (LLaMA),为了做 Alignment,用一个简单的线性层 Projector 将视觉特征转换为文本特征

训练

对于任意一个图像Xv ,生成一个T轮的问答数据序列( Xq1 , Xa1 , ... , XqT , XaT)

第一轮对话中加入视觉信息Xv,即使用视觉特征和语言向量的一种排列当做指令

Stage1: 预训练视觉->文本

要求机器描述这个图像作为输入的Xq,将数据集中的标题(图像描述)作为回答Xa 。然后冻结图像编码器和语言模型,训练投影矩阵W直到似然函数达到极大

Stage2: 端到端训练

这一阶段冻结视觉编码器,并更新LLaVA模型的投影层和LLM

使用数据:

多模态聊天机器人将收集的158K独特的语言图像指令按照三种回答格式(对话、详细描述和复杂推理)进行均匀抽样并基于这些数据进行微调得到聊天机器人

科学问答(Science QA)在Science QA基准数据集上进行,通过将问题和上下文作为输入,将推理过程和答案作为输出进行训练。

相关推荐
CV-杨帆1 小时前
论文阅读:2025 arxiv Reward Shaping to Mitigate Reward Hacking in RLHF
论文阅读
CV-杨帆1 小时前
论文阅读:2024 ACL ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs
论文阅读
CV-杨帆10 小时前
论文阅读:2025 arxiv Aligning to What? Limits to RLHF Based Alignment
论文阅读
nenchoumi31191 天前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
何大春1 天前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
王上上1 天前
【论文阅读25】-滑坡时间预测-PFTF
论文阅读
李一帆'1 天前
【论文阅读】Hierarchical Group-Level Emotion Recognition
论文阅读·计算机视觉
nenchoumi31192 天前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
江左子固3 天前
《Deep Learning Inference on Embedded Devices: Fixed-Point vs Posit》(一)
论文阅读
nenchoumi31193 天前
LLM 论文精读(二)Training Compute-Optimal Large Language Models
论文阅读·人工智能·笔记·学习·语言模型·自然语言处理