Large-Vision-Language-Models-LVLMs--info:deepseek-vl模型

LVLMs-info: Deepseek-VL

  • deepseek-vl
    • paper: https://arxiv.org/abs/2403.05525, code: https://github.com/deepseek-ai/DeepSeek-VL
    • 模型基本结构:基本和Qwen-VL一样,三部分,a hybrid vision encoder, a vision adaptor, and a language model(LLM)
      • hybrid vision encoder
        • 使用SigLIP处理低分辨率的图像(384x384), SAM-B处理高分辨率图像(1024x1024),分别能够得到hxwxD的feature map
      • vision adaptor
        • 处理由hybrid vision encoder送过来的feature map
        • 具体来说,先将feature map上采用2倍并输入两层卷积,随后将feature map拉直,得到NxD维特征(类似token),在论文中每个feature map处理后都得到576x1024的token,最后将两种token在通道维度拼接得到576x2048的visual token
        • 最后使用一层GELU+MLP做embedding,作为LLM的输入
      • LLM
        • 使用DeepSeek LLM,包括1B和7B
    • 训练阶段:和Qwen-VL一样分为三个阶段训练
      • stage 1: Training VL Adaptor
        • 对vision adaptor进行训练,其他部分均frozen,相当于固定视觉和文本编码器,训练两者的融合模块。这里有一点可以关注,VLA的参数量很少,scaling law几乎无效,甚至会起到反作用,因此在这个阶段没有用很多数据进行调整
      • stage 2: Joint VL Pre-training
        • 对除了hybrid vision encoder外的所有参数进行调整,主要用来训练模型的多模态能力。在这个阶段需要谨慎的控制好用于训练的text-image和text数据的比率,否则会造成模型的language能力下降
      • stage 3: Supervised Finetuning
        • 全参数调整(但frozen SAM-B,显存限制)
    • 数据部分:通常的处理,划分为pretraining dataset和fine-tuning dataset
      • pretraining dataset主要由一些比较杂的数据构成(论文table 1),主要参与训练的stage1
      • fine-tuning dataset数据比较干净,包括LAION等,主要参与训练的stage3
      • 两者共同参与训练的stage2
    • 重要的点(个人)
      • 高质量图像数据(1024x1024), hybrid vision encoder
      • modality warm-up,逐步增加text-image数据,初始保持纯text数据在训练过程中占主导,防止模型language能力出现degradation问题
      • 论文中的性能对比上,基本能干过当时的开源LVLMs,但和GPT4-v有差距
相关推荐
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-19]:GitHub Copilot:程序员的 AI 编程副驾驶
人工智能·github·copilot
shuououo3 小时前
YOLOv4 核心内容笔记
人工智能·计算机视觉·目标跟踪
DO_Community6 小时前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20256 小时前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub7 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP7 小时前
BERT系列模型
人工智能·深度学习·bert
兰亭妙微7 小时前
ui设计公司审美积累 | 金融人工智能与用户体验 用户界面仪表盘设计
人工智能·金融·ux
AKAMAI8 小时前
安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算
岁月宁静8 小时前
深度定制:在 Vue 3.5 应用中集成流式 AI 写作助手的实践
前端·vue.js·人工智能
galaxylove8 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能