【WIP】【VLA&VLM——InternVL系列】

InternVL

  1. 指出了目前VLM存在的几个问题:
    1)LLM和Vision Enc的参数量不均衡:LLM参数量已经扩大到很大了,Vision Enc还只有1B左右;
    2)视觉特征和语言特征没对齐:Vision Enc主要用纯图像数据做训练,于文本特征存在domain gap;
    3)"glue layer"效果差:也就是Vision Enc过后的几层特征映射层(QFormer),参数过少且往往随机初始化,不能有效的将视觉特征对齐;
    综上,作者认为VLM的效果问题主要制约在视觉和语言从模型到特征的不对等上。InternVL致力于解决这种不均衡;
  2. 思考:
    1)这个初版的InternVL和后面很大的不同是,为了让视觉特征对齐,专门用了一个QLLaMA进行两个阶段的预训练,目标就是将Vision Encoder的特征对其到Language上,这个是不是必要的,而且最后使用的语言模型反而不是LLaMA,而是Vicuna,这么操作是必要的嘛?我认为有些浪费,后面再看看InternVL2.5和InternVL3验证一下这个操作是不是一直被保留下来了。
    2)总的来说,这篇工作专注于缓解视觉与语言特征的不均衡上,从各模块参数量、特征对齐方式、数据选择上都下了功夫。但是用一个LLM(QLLaMA)作glue layer,用另一个LLM(Vicunna)作LLM,结构上看起来不是很简洁,感觉后续还是有进一步改进的空间的。

模型结构

  1. Vision Encoder:InternViT-6B,将ViT参数量增大至6B,并针对模型width和depth进行一系列尝试,权衡速度和效果,最终确定如下模型配置。
  2. Lauguage Middileware:QLLaMA,将7B的LLaMA,加上了1B的queries+cross attention layer,用于适配Vision Encoder的特征。这个"MiddleWare"的意义,就是将VisionEnc输出的特征对齐到语言空间中。
  3. InternVL-chat
    这里提供了两种用法,要么直接InternViT->Vicuna,要么InternViT+QLLaMA->Vicuna。但是后面好像没看到这两种用法的优劣?

训练方法

  1. 第一阶段:参考CLIP方法,将InternViT-6B输出的图像特征和LLaMA-7B输出的文本特征进行对比学习(Contrastive Loss)。选用的数据集范围很广,可能包含噪声数据,但是可以接受。这个阶段主要目的是提升Vision Enc的基础视觉能力,并且对齐语言特征空间。补充:InternViT-6B是随机初始化的,LLaMA直接用的开源的pretrain作初始化;
  2. 第二阶段:参考BLIP方法,用(Generative Loss),只训练QLLaMA新增的query+cross attention(1B),进一步增强特征对齐的能力;并且让InternViT+QLLaMA获得image caption能力;另外这个阶段用的数据是上一阶段数据集提纯后得到的,数据量更少但是质量更好;
  3. 第三阶段:这个阶段直接在InternViT+QLLaMA后面衔接MLP+LLM(InternLM&Vecunna均可)。作者认为,由于stage1&2时VisionEnc与QLLaMA适配的很好了,而QLLaMA又和LLM的特征空间很相近,所以不需要再次对Vision和Text进行适配,所以只训练新增的MLP(可选:LLM)部分,既加速了训练又保留了LLM本身的能力;数据方面,这一阶段训练数据更精更少了,只有4 million左右的数量;

实验

前面一些实验证明了InternViT-6B本身的感知能力,以及InternVL-C的zero-shot和泛化性,不详细写了。主要看下ablation study

可以看到,相比于MLP,QLLaMA能够明显涨点,作者认为这证明了QLLaMA作为glue layer能够更好的将视觉特征对齐到LLM上。(是不是有点存疑?)

相关推荐
北京地铁1号线15 分钟前
机器学习笔试选择题:题组2
人工智能·算法·机器学习
算家云37 分钟前
OpenAI秘密测试ChatGPT安全路由,情感对话触发GPT-5严格审查
人工智能·chatgpt·算家云·openai秘密测试安全路由·算家计算·租算力,就到算家云
新加坡内哥谈技术38 分钟前
OpenAI近日推出了一项名为 ChatGPT Pulse 的全新功能
人工智能·chatgpt
hunteritself40 分钟前
DeepSeek V3.1-Terminus、阿里 Qwen3-Max、ChatGPT Pulse 同周登场!| AI Weekly 9.22-9.28
人工智能·ios·chatgpt·语音识别·iphone
ai_xiaogui42 分钟前
ChatGPT开源模型发布!部署20B/120B AI模型实战指南
人工智能·chatgpt·20b 120b模型部署教程·本地部署chatgpt模型实战·高性能加速开源ai模型开发·开源模型windows配置方法
春末的南方城市43 分钟前
阿里开源视频修复方法Vivid-VR:以独特策略与架构革新,引领生成视频修复高质量可控新时代。
人工智能·深度学习·机器学习·计算机视觉·aigc
Juchecar1 小时前
人工智能重塑人类生活范式
人工智能
FIT2CLOUD飞致云1 小时前
飞致云开源社区月度动态报告(2025年9月)
人工智能·开源
量子位1 小时前
宇树机器人被曝漏洞,机器人之间可相互感染,官方火速回应
人工智能·ai编程
chaofan9801 小时前
如何用 Claude Code 搭建安全、可测、可自动化的 GitHub CI 流程?
运维·人工智能·ci/cd·ai·自动化·github·claude