摘要：2017年Transformer横空出世，此后架构从纯文本LLM演进到视觉语言模型VLM，再到原生多模态MLLM。截至2026年8月，已有超过155种VLM/MLLM架构被系统性收录。本文以BYO-LLM-FZ2O项目为参照框架，梳理三类架构的演进脉络与核心设计理念。
一、纯文本LLM：Decoder-only一统天下
所有现代LLM的根基都源自Transformer。根据处理任务的不同，架构演化出三个主要方向：
| 架构类型 | 注意力机制 | 代表模型 | 适用任务 |
|---|---|---|---|
| Encoder-only | 双向自注意力 | BERT、RoBERTa | 文本分类、NER |
| Decoder-only | 单向因果注意力 | GPT、LLaMA、Qwen | 生成式任务 |
| Encoder-Decoder | 双向编码+自回归解码 | T5、BART | 翻译、摘要 |
Decoder-only已成为绝对主流。其优势在于：生成任务需求主导、自回归训练目标简洁有效、训练效率高、统一了预训练和下游任务形式。
核心组件在微观层面进行了大量优化：RMSNorm取代LayerNorm，RoPE取代绝对位置编码，SwiGLU取代ReLU，GQA/MLA取代标准多头注意力以降低KV Cache显存占用。MoE通过稀疏激活实现总参数巨大但推理成本可控。
2026年上半年的架构趋势显示：MoE发展相对完善后，各大厂商又回到了Attention部分进行优化，主要方向为SWA截断、top-k筛选裁剪、GatedDeltaNet/KDA/MLA压缩三大方向。
二、VLM：连接视觉与语言的三大架构
视觉语言模型使机器能够同时"看懂"图像和"理解"文字。主要有三类架构：
双塔架构（CLIP、ALIGN）：视觉与文本分别通过独立编码器处理，通过对比损失对齐特征空间。优势是模态特异性表征和高效检索，局限是晚期融合、细粒度跨模态交互受限。
单塔架构（ViLT、SAIL）：视觉与文本输入拼接后送入统一Transformer，深层跨模态交互、参数效率高，更偏向效率和轻量化。
混合架构（Qwen3-VL）：浅层分离编码、深层融合交互，兼顾效率与精度。
VLM围绕三个核心组件构建：视觉编码器（CLIP ViT-L/14、SigLIP、InternViT-6B）、语言解码器（Llama、Qwen等预训练LLM）、跨模态连接器。连接器主要有三种方案：投影器（LLaVA）、Q-Former（BLIP-2）、交叉注意力（Flamingo）。
主流开源VLM涵盖8个家族，参数规模从2B到38B不等，包括Qwen2.5-VL/Qwen3-VL/Qwen3.5-VL、InternVL3.5、Gemma 3、GLM-4.1V、LLaVA-OV、MiniCPM-V等。
三、MLLM：从"外挂式"到"原生统一"
多模态大语言模型代表了AI架构的最新前沿，正经历从"语言模型+多模态外挂"到"原生全模态统一"的深刻范式迁移。
| 范式 | 代表模型 | 核心特点 |
|---|---|---|
| 连接器范式 | Flamingo、BLIP-2 | 冻结视觉编码器和LLM，引入轻量级连接器 |
| 投影器范式 | LLaVA系列 | 冻结LLM+冻结视觉编码器+小型可训练投影器 |
| 原生多模态范式 | Chameleon、GPT-4o、Kimi K3 | 预训练阶段直接引入多模态序列，端到端统一 |
2026年发布的代表性开源MLLM包括：Kimi K3（2.8万亿参数，全球首款开源原生多模态MoE）、MiniCPM-V 4.6（1.3B，口袋级，256K上下文）、Qwen3.5（原生多模态，0.8B-397B MoE）、GLM-5（744B/40B激活）、Gemma 4（31B）等。
四、架构演进的六条主线
从纯文本LLM到VLM再到MLLM，模型架构的演进呈现出清晰的脉络：
- 从单一到融合：纯文本→视觉语言→全模态，感知能力不断拓展
- 从独立到统一：双塔编码→单塔融合→原生多模态
- 从理解到生成+理解：侧重理解→理解与生成统一
- 从稠密到稀疏高效：MoE、GQA等技术使规模扩大的同时保持推理效率
- 从外挂到原生：连接器/投影器范式→原生多模态预训练
- 从模块化到端到端：组件拼凑→端到端统一架构
原生多模态已成为最前沿方向。Kimi K3、Qwen3.5、Gemma 4等模型正在重新定义多模态智能的边界。对于开发者和研究者，理解这些架构差异，能为实际模型选型和架构设计提供清晰的决策依据。
查看原文
以上仅为核心速览。完整版包含：Self-Attention公式完整推导、RoPE旋转位置编码原理与优势、MHA/MQA/GQA/MLA演进动机与KV Cache显存计算公式、FlashAttention分块计算原理、MoE稀疏激活Router机制、CLIP双塔工作原理与InfoNCE损失、Q-Former与LLaVA投影器对比、原生多模态预训练完整流程、通用高频考点速查表（11个考点分类+考察频率）、高频手撕代码题（Self-Attention、RoPE、MHA、KV Cache等）。
本文首发于微信公众号「阿Q的AI笔记」，点击下方链接阅读全文：