TinyGPT-V 和 MiniGPT-4 在架构设计上的主要区别

MiniGPT-4 是"大 LLM + 冻结视觉编码器 + 单层线性投影"的经典桥接式 MLLM；TinyGPT-V 是"小 LLM + 视觉模块 + 更复杂 mapping / norm / LoRA 训练策略"的轻量化 sVLM。

1. 总体架构对比

对比项	MiniGPT-4	TinyGPT-V
设计目标	验证强 LLM 接入视觉后可涌现 GPT-4V 类多模态能力	用小 backbone 实现可训练、可部署、低显存 MLLM
LLM Backbone	Vicuna，大模型路线	Phi-2，约 2.7B / 2.8B，小模型路线
视觉编码器	BLIP-2 的视觉组件：ViT + Q-Former	预训练视觉模块，来自 BLIP-2 / CLIP
视觉到语言连接	单层 linear projection	mapping module + normalization + LoRA 相关训练设计
训练重点	只训练 projection layer，对齐视觉特征到 Vicuna	面向小模型的多阶段训练，解决小 LLM 跨模态训练不稳定
训练阶段	两阶段：图文对齐预训练 + 高质量对话微调	四阶段：warm-up、pre-training、instruction tuning、multi-task learning
部署定位	更偏研究验证和大模型多模态能力展示	更偏 sVLM / 边缘端 / 低显存部署

MiniGPT-4 官方描述是：冻结视觉编码器和冻结 Vicuna，用一个投影层完成视觉特征到 LLM 的对齐；其结构由 pretrained ViT、Q-Former、单层线性投影和 Vicuna 组成。([minigpt-4.github.io][1])

TinyGPT-V 则明确以 Phi-2 为语言模型，引入来自 BLIP-2 / CLIP 的预训练视觉模块，并使用 mapping module 融合视觉和语言信息，目标是降低训练和推理资源需求。([arXiv][2])

2. 核心区别一：LLM Backbone 不同

MiniGPT-4：依赖强 LLM 能力

MiniGPT-4 的核心假设是：

只要把视觉特征正确对齐到强 LLM，强 LLM 本身的语言生成、推理、指令跟随能力就可以迁移到多模态任务中。

结构可以简化为：

text 复制代码

Image
  │
  ▼
Pretrained ViT + Q-Former
  │
  ▼
Linear Projection
  │
  ▼
Vicuna LLM
  │
  ▼
Answer

它的重点不是重新设计小模型，而是证明：

text 复制代码

强 LLM + 视觉对齐层 ≈ 具备较强多模态生成能力

所以 MiniGPT-4 的多模态能力很大程度来自 Vicuna 的语言能力。

TinyGPT-V：围绕小 LLM 重做适配

TinyGPT-V 的核心假设不同：

大模型太重，sVLM 应该使用小语言模型作为主体，并通过额外结构和训练策略补偿小模型跨模态能力不足。

结构可以简化为：

text 复制代码

Image
  │
  ▼
Pretrained Vision Encoder / CLIP / BLIP-2 modules
  │
  ▼
Mapping Module
  │
  ▼
Phi-2 Small LLM + LoRA / Norm Adaptation
  │
  ▼
Answer

TinyGPT-V 的 Phi-2 语言模型只有约 2.8B 参数，论文强调其训练仅需 24GB GPU，推理可低至 8GB GPU 或 CPU 环境。([arXiv][2])

3. 核心区别二：连接层设计不同

MiniGPT-4：Linear Projection

MiniGPT-4 的连接方式非常简洁：

text 复制代码

visual_feature → linear_projection → Vicuna_embedding_space

它只训练这个 projection layer，视觉编码器和语言模型都冻结。官方页面也明确说明：MiniGPT-4 只需要训练线性层来对齐视觉特征和 Vicuna。([minigpt-4.github.io][1])

优点是：

text 复制代码

结构简单
训练成本低
容易复现
对齐逻辑清晰

缺点是：

text 复制代码

对小模型不一定够用
视觉-语言融合能力较弱
依赖 Vicuna 本身的强语言能力

TinyGPT-V：Mapping Module + 小模型稳定化组件

TinyGPT-V 不只是一个普通 linear projector，而是强调 unique mapping module，用于视觉和语言信息融合。论文还指出，小模型跨模态迁移时更容易出现 NaN、INF、梯度消失等训练问题，因此加入了 input norm、RMS Norm、QK Norm、LoRA 等稳定化设计。([arXiv][2])

TinyGPT-V 的连接层更像：

text 复制代码

visual_feature
  │
  ▼
mapping module
  │
  ▼
norm / adaptation
  │
  ▼
Phi-2 embedding space

所以它的架构重点不是"只接上视觉特征"，而是：

text 复制代码

视觉特征映射
+ 小模型跨模态训练稳定
+ LoRA 低成本适配
+ norm 防止梯度消失

4. 核心区别三：训练策略不同

MiniGPT-4：两阶段训练

MiniGPT-4 使用两阶段训练：

text 复制代码

Stage 1: 图文对齐预训练
Stage 2: 高质量多模态对话数据微调

其论文和项目页都强调，第一阶段只用原始图文对会导致重复、碎片化、不自然的语言输出；第二阶段使用高质量对齐数据和对话模板，可以提高生成可靠性和可用性。([minigpt-4.github.io][1])

TinyGPT-V：四阶段训练

TinyGPT-V 是四阶段训练：

text 复制代码

Stage 1: Warm-up training
让 Phi-2 对图像模态输入产生响应，完成初步语义空间对齐

Stage 2: Pre-training
继续使用图文对训练 LoRA 模块，提高多模态学习能力

Stage 3: Instruction tuning
使用 MiniGPT-4 / LLaVA 风格指令数据，让模型能接受图文指令并回答

Stage 4: Multi-task learning
引入 VQA、REC、caption、多轮对话、语言数据等，提高泛化能力

TinyGPT-V 论文明确列出了这四个阶段，并说明 Stage 4 进一步增强 VQA、VSR 等多任务泛化能力。([arXiv][2])

5. 核心区别四：TinyGPT-V 更重视小模型训练稳定性

这是两者架构思想中最重要的差异。

MiniGPT-4 用的是 Vicuna 这类较强 LLM，视觉只需要通过 projection layer 对齐；而 TinyGPT-V 使用 Phi-2 这样的小 LLM，小模型跨模态迁移更容易不稳定。

TinyGPT-V 论文中特别做了 ablation：

text 复制代码

w/o LoRA          → Stage 3 开始梯度消失
w/o Input Norm    → Stage 4 梯度消失
w/o RMS Norm      → Stage 2 梯度消失
w/o QK Norm       → 立即梯度消失

这说明 TinyGPT-V 的架构设计重点之一就是：让小 LLM 能稳定接受视觉模态输入。([arXiv][2])

MiniGPT-4 的设计重点则是：最小代价验证强 LLM 的多模态能力。

6. 从 sVLM 角度看，两者本质区别

MiniGPT-4 更像"大模型桥接方案"

text 复制代码

Frozen Vision Encoder
        │
        ▼
Linear Projector
        │
        ▼
Large Vicuna

它适合说明：

text 复制代码

视觉特征只要对齐到强 LLM，模型就能产生较强多模态能力。

但是它并不是特别面向边缘端小模型设计。

TinyGPT-V 更像"小模型多模态适配方案"

text 复制代码

Vision Encoder
        │
        ▼
Mapping Module
        │
        ▼
Small Phi-2 LLM
        │
        ├── LoRA
        ├── Input Norm
        ├── RMS Norm
        └── QK Norm

它适合说明：

text 复制代码

当 LLM 变小时，不能只靠一个 projector，需要增加映射、归一化、LoRA 和多阶段训练来稳定多模态学习。

8. 总结

text 复制代码

MiniGPT-4 的关键是：
强 LLM + 冻结视觉编码器 + 单层投影对齐

TinyGPT-V 的关键是：
小 LLM + 视觉模块 + mapping module + LoRA / Norm 稳定训练 + 多阶段任务学习

MiniGPT-4 证明"大语言模型接上视觉后很强"；TinyGPT-V 解决"小语言模型如何稳定接上视觉并低成本部署"。

参考链接:

1\]: https://minigpt-4.github.io/ "Minigpt-4" \[2\]: https://arxiv.org/html/2312.16862v2 "TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones"