【AI大模型应用开发】【基础】4.LLM主流开源大模型介绍

LLM主流开源大模型介绍

1. LLM主流大模型类别

随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用, 它的种类大致如下:

**ChatGLM 衍生的大模型 :**wenda、ChatSQL等

**LLaMA 衍生的大模型 :**Alpaca、Vicuna、BELLE、Phoenix、Chimera等

**Bloom 衍生的大模型 :**Bloomz、BELLE、Phoenix等

Baichuan 衍生的大模型 : Baichuan-7B、Baichuan-13B、Baichuan2-13B等

Qwen模型: Qwen大语言模型是由阿里巴巴训练并开源的一系列大语言模型,最早于2023年8月份开源70亿参数规模，随后几个月时间内陆续开源了4个不同规模版本的模型，最低参数18亿，最高参数720亿

2. ChatGLM-6B模型

2.1 ChatGLM-6B模型简介

ChatGLM-6B是清华大学提出的一个开源、支持中英双语的对话语言模型，基于 General Language Model (GLM-通用语言模型) 架构，具有 62 亿参数

该模型使用了和 ChatGPT 相似的技术，经过约 1T 标识符的中英双语训练(中英文比例为 1:1)，辅以 监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答（目前中文支持最好）

2.2 训练目标

GLM是一种基于自回归空白填充目标的通用预训练框架,GLM 将 NLU(自然语言理解)任务转化为包含任务描述的完形填空问题，可以通过自回归生成的方式来回答

原理：在输入文本中随机挖去一些连续的文本片段，然后训练模型按照任意顺序重建这些片段

完形填空问题是指在输入文本中用一个**特殊的符号（如 $MASK$ ）**替换掉一个或多个词，然后训练模型预测被替换掉的词

对上图的说明:

原始文本 x= $x_1, x_2,...,x_6$ 随机进行连续 mask，这里假设mask 掉 $x_3$ 和 $x_5,x_6$

将 $x_3$ 和 $x_5,x_6$ 替换为 $M$ 标志, 并打乱 Part B 的顺序,为了捕捉跨度之间的内在联系，随机交换跨度的顺序

GLM 自回归地生成 Part B,每个片段在输入时前面加上 $S$ ，在输出时后面加上 $E$ 。二维位置编码表示不同片段之间和片段内部的位置关系

自注意力掩码. 灰色区域被掩盖.Part A 的词语可以自我看到（图蓝色框）, 但不能看到 Part B.Part B 的词语可以看到 Part A 和 Part B 中的前面的词语（图黄色和绿色框对应两个片段）. $M$ := $MASK$ ， $S$ := $START$ ， $E$ := $END$

2.3 模型结构

采用transformer的decoder模块 ，因为无论是对于自然语言理解还是自然语言生成类任务，GLM都是看成生成任务做,但是这里只能说类deocder, 因为decoder是单向的，但是GLM某些位置可以看到双向的，因此又被称为 Prefix - Decoder,相比原始Decoder模块，模型结构有如下改动点：

批量归一化: 见【深度学习】7.神经网络-学习率衰减优化方法&正则化方法

旋转矩阵经典奖金讲解文章: https://zhuanlan.zhihu.com/p/647109286

欧拉公式: 这里是指****复分析中的欧拉公式

数学中最优美、最著名的公式之一，它揭示了复指数函数与三角函数之间的深刻联系

公式表达：

(其中 e 是自然对数的底数， i 是虚数单位， x 为实数)

几何意义 ：

这个公式在复平面上表示一个单位圆。当 x 变化时， e^ix 会在复平面上画出一个半径为 1 的圆。实部是cosx ，虚部是sinx

最著名的推论：欧拉恒等式 (Euler's Identity)

当x=π 时，代入上述公式得到：

e^iπ+1=0

这个恒等式被誉为"上帝的公式"，因为它将数学中最重要的 5 个常数（0,1,e,i,π）和 3 种基本运算（加、乘、幂）完美地结合在了一起

实际应用 ：
在物理学、工程学（如交流电分析）、信号处理（傅里叶变换）和量子力学中，利用该公式可以将复杂的三角函数运算转化为简单的指数运算，极大地简化了计算

2.4 模型配置（6B）与硬件要求

模型配置如下 :

2.5 模型特点

优点

较低的部署门槛： INT4 精度下，只需6GB显存，使得 ChatGLM-6B 可以部署在消费级显卡上进行推理

更长的序列长度：相比 GLM-10B（序列长度1024），ChatGLM2-6B 序列长度达32K，支持更长对话和应用

人类类意图对齐训练

缺点

模型容量小，相对较弱的模型记忆和语言能力

较弱的多轮对话能力

2.6 衍生应用

langchain-ChatGLM

基于langchain的ChatGLM 应用，实现基于可扩展知识库的问答

闻达

大型语言模型调用平台，基于ChatGLM-6B 实现了类 ChatPDF功能

2.7 迭代版本

ChatGLM2-6B：ChatGLM2-6B是ChatGLM-6B的第二代版本，相比第一代，它带来了一系列显著的优势：

ChatGLM3-6B：ChatGLM3-6B是ChatGLM-6B的第三代版本，相比前两代，除了继承之前优势外，相当于全面升级：

总结:

ChatGLM-6B的模型架构？

Prefix-Decoder-Only: 一种基于GLM的自回归空白填充目标 的通用预训练模型

ChatGLM-6B的训练目标？

输入文本中随机挖去一些连续的文本片段,然后训练模型按照任意顺序重建这些片段

ChatGLM-6B模型的改动点？

Embedding层梯度缩减；Deep Norm ;GeGLU激活函数；RoPE位置编码

3. LLaMA模型

3.1 LLaMA模型简介与训练目标

LLaMA（Large Language Model Meta AI），由 Meta AI 于2023年发布的一个开放且高效的大型基础语言模型，共有 7B、13B、33B、65B（650 亿）四种版本

LLaMA训练数据是以英语为主的拉丁语系，另外还包含了来自 GitHub 的代码数据。训练数据以英文为主，不包含中韩日文，所有训练数据都是开源的。其中LLaMA-65B 和 LLaMA-33B 是在 1.4万亿 (1.4T) 个 token上训练的，而最小的模型 LLaMA-7B 和LLaMA-13B 是在 1万亿 (1T) 个 token 上训练的
LLaMA 的训练目标是语言模型，即根据已有的上文去预测下一个词

关于tokenizer，LLaMA 的训练语料以英文为主，使用了BPE 作为 tokenizer，词表大小只有 32000. 词表里的中文token 很少，只有几百个，LLaMA tokenizer 对中文分词的编码效率比较低

3.2 模型结构

和 GPT 系列一样，LLaMA 模型也是Decoder-only架构，但结合前人的工作做了一些改进，比如：

Pre-Layer Normalization讲解

Pre-Layer Normalization（简称 Pre-LN） 是现代深度 Transformer 架构（特别是大型语言模型）中的一项关键改进。它的核心思想是将层归一化（Layer Normalization, LN）操作从残差连接之后移动到了每个子层（如自注意力层、前馈网络）的之前

以下是关于 Pre-LN 的全面解析：

1. 结构对比：Pre-LN vs Post-LN

Post-LN（原始 Transformer 架构） ：数据流为 Sublayer -> Add -> Norm。即先进行子层计算，然后与原始输入相加（残差连接），最后对相加的结果进行归一化45。

Pre-LN（现代主流架构） ：数据流为 Norm -> Sublayer -> Add。即先对输入进行归一化，将结果送入子层计算，最后将子层输出与原始输入相加46。

2. Pre-LN 的核心优势

Pre-LN 之所以取代 Post-LN 成为大模型的标配，主要得益于以下优势：

提升训练稳定性：在 Pre-LN 结构中，原始输入直接走残差分支，形成了一条"梯度高速公路"。梯度在反向传播时可以几乎无损地通过残差路径回传，有效避免了深层网络中的梯度消失或梯度爆炸问题45。

降低超参数敏感度：Post-LN 在训练初期极易发散，通常需要极其谨慎的学习率预热（Warm-up）策略。而 Pre-LN 的内在稳定性使其对学习率和 Warmup 的依赖性大大降低，简化了调优过程24。

支持更深的网络：由于梯度传播顺畅，Pre-LN 使得训练几十层甚至上百层的超深模型成为可能。GPT-3、LLaMA 等现代大模型均采用了此结构12。

规范子层输入：前置归一化确保了 Attention 和 FFN 子层接收到的输入始终具有稳定的均值和方差，使得子层的优化过程更加平滑14。

3. Pre-LN 的代价与副作用

尽管 Pre-LN 极大改善了可训练性，但它也带来了一个显著问题：表征坍塌（Representation Collapse）与有效深度降低25。

在 Pre-LN 中，主分支（残差路径）不经过 LayerNorm，其数值尺度会随网络深度不断累积增大；而残差分支（子层计算）的输出量级相对较小。

当网络足够深时，主分支的幅值远大于残差分支，导致深层子层对最终表征的贡献被不断削弱。换言之，尽管模型名义上很深，但深层部分的表达能力被"淹没"，实际效果类似于一个较浅的网络23。这也是为什么在相同参数规模下，经过精细调参的 Post-LN 往往具有更高的收敛上限23。

4. 工程实践中的注意事项

由于 Pre-LN 结构在最后一个子层计算后直接进行了残差相加，导致最终输出层可能没有被充分归一化5。因此，在实际工程实现中，通常会在整个编码器/解码器堆叠完成后，额外增加一层 LayerNorm（或 RMSNorm）作为收尾，以确保最终输出的分布稳定7。

5. 现代大模型的演进（RMSNorm）

为了进一步降低归一化操作的计算开销，现代大模型（如 LLaMA 系列）在 Pre-LN 的基础上，将传统的 LayerNorm 替换为了 RMSNorm （去掉了减去均值的中心化操作，只保留缩放操作）3。这种 Pre-RMSNorm 架构不仅继承了 Pre-LN 训练稳定的优点，还提升了约 10-40% 的计算速度，是目前工业界构建大语言模型的标准范式
RMSNorm归一化函数讲解

RMSNorm（Root Mean Square Layer Normalization，均方根层归一化）是 LayerNorm 的一种高效变体，目前已成为 LLaMA、Qwen 等主流大语言模型的标配。

它的核心思想是：既然 LayerNorm 中的"减去均值（Mean Subtraction）"操作对模型性能提升不大，不如直接去掉它，只保留缩放（Scaling）操作。

以下是 RMSNorm 的数学公式、代码实现及核心优势解析：

1. 数学公式

对于输入向量 x ，RMSNorm 的计算公式如下：

其中：

**RMS(x)**是输入x 的均方根（Root Mean Square）：

γ是可学习的缩放参数向量（与输入维度 d 相同）

ϵ是防止除以零的极小常数（如1e−6）

对比 LayerNorm：LayerNorm 需要先计算均值 μ 和方差σ^2 ，然后执行

RMSNorm 直接省去了求均值和减均值的步骤

2. PyTorch 代码实现

以下是一个标准且高效的 RMSNorm PyTorch 实现：
复制代码
1import torch
2import torch.nn as nn
3
4class RMSNorm(nn.Module):
5    def __init__(self, dim: int, eps: float = 1e-6):
6        super().__init__()
7        self.eps = eps
8        # 初始化缩放参数 gamma，通常初始化为 1
9        self.weight = nn.Parameter(torch.ones(dim))
10
11    def forward(self, x: torch.Tensor) -> torch.Tensor:
12        # 1. 计算均方根 (RMS)
13        # 在最后一个维度上求平方均值，然后开方
14        rms = torch.sqrt(x.pow(2).mean(-1, keepdim=True) + self.eps)
15        
16        # 2. 归一化并缩放
17        # x / rms * weight
18        return x * (self.weight / rms)
(注：在实际的高性能推理框架如 vLLM 或 TensorRT-LLM 中，RMSNorm 通常会被编译为高度优化的 CUDA Kernel 以进一步减少显存读写。)

3. RMSNorm 相比 LayerNorm 的优势

计算开销显著降低 ：
去掉了求均值（Mean）和减去均值（Subtract）的操作，减少了约 7% ~ 64% 的计算时间（具体取决于硬件和序列长度），这对于动辄几十上百层的 Transformer 来说收益巨大。

显存与带宽更友好 ：
减少了中间变量的生成，降低了 GPU 显存带宽的压力

性能无损 ：
大量实验（包括原论文和后续大模型实践）证明，在 Pre-LN 架构下，RMSNorm 与 LayerNorm 的收敛性能和最终模型效果几乎完全一致

4. 为什么在大模型中"减去均值"是不必要的？

在传统的 Post-LN 架构中，减去均值是为了让残差分支的输出分布稳定，防止梯度爆炸。

但在现代的 Pre-LN 架构中，LayerNorm 被放在了子层（Attention/FFN）的前面。此时，归一化的主要作用是规范子层的输入分布，使得激活函数（如 SwiGLU）和权重矩阵始终工作在合理的数值区间。在这种场景下，输入数据是否严格零均值对模型优化的影响微乎其微，因此 RMSNorm 的简化是完全成立的
SwiGLU激活函数讲解

SwiGLU 是目前主流大语言模型(如 LLaMA、PaLM、Qwen 等)中最常用的前馈网络（FFN）激活函数。它是由 Swish 激活函数和 GLU （Gated Linear Unit，门控线性单元）组合而成的.SwiGLU 的核心思想是:在非线性激活之前，引入一个可学习的"门控（Gating）"机制

以下是关于 SwiGLU 的详细解析：

1. 数学公式

SwiGLU 的计算公式如下：

其中：

x：输入向量

W1,W2：两个独立的权重矩阵

Swish(z)：Swish 激活函数，定义为z⋅σ(βz) （其中σ是Sigmoid 函数）

⊗：逐元素乘法（Element-wise multiplication），这就是"门控"的核心

β：可学习参数或固定常数（通常设为 1）

2. 核心机制：门控（Gating）

传统的 ReLU 激活函数是"硬门控"：输入小于 0 的神经元直接被"关掉"（输出为 0）

而 SwiGLU 采用的是软门控（Soft Gating）：

输入 x 被分成两路（通过 W1 和 W2 ）

一路经过 Swish 激活函数，生成一个介于 0 到 1 之间的"门控信号"（Gate）

另一路保持线性（或经过其他激活），然后与门控信号进行逐元素相乘

这意味着模型可以动态、平滑地决定哪些特征应该被放大，哪些特征应该被抑制，而不是简单粗暴地截断

3. SwiGLU 的优势

性能更强：在 Transformer 中，用 SwiGLU 替换传统的 ReLU/GeLU，可以在不增加太多参数的情况下显著提升模型效果

缓解梯度消失:Swish 在负半轴有非单调的平滑曲线，相比 ReLU 能提供更平滑的梯度流

动态路由能力：门控机制使得模型在处理不同 token 时，能够自适应地激活不同的特征子集，增强了模型的表达能力

4. 工程实践中的"代价"：隐藏层维度变大

这是使用 SwiGLU 时最需要注意的一点: 在标准的 MLP 中，如果输入维度是d ，隐藏层维度也是d ，那么参数量为d×d

但在 SwiGLU中,因为需要计算两路(W1和W2),如果隐藏层维度仍设为d ，参数量会翻倍.

为了保持与标准 ReLU MLP 相同的参数量 ，SwiGLU 的隐藏层维度通常需要缩小。

根据原论文及 LLaMA 的实践，隐藏层维度通常设置为：

5. PyTorch 代码实现
复制代码
1import torch
2import torch.nn as nn
3import torch.nn.functional as F
4
5class SwiGLU(nn.Module):
6    def __init__(self, dim: int, hidden_dim: int):
7        super().__init__()
8        # 注意：这里有两个线性层用于生成门和值
9        self.w1 = nn.Linear(dim, hidden_dim, bias=False)
10        self.w2 = nn.Linear(dim, hidden_dim, bias=False)
11        self.w3 = nn.Linear(hidden_dim, dim, bias=False)
12
13    def forward(self, x: torch.Tensor) -> torch.Tensor:
14        # 1. 门控分支：经过 Swish 激活
15        gate = F.silu(self.w1(x))  # silu 就是 swish
16        
17        # 2. 值分支：保持线性
18        value = self.w2(x)
19        
20        # 3. 逐元素相乘（门控核心）
21        hidden = gate * value
22        
23        # 4. 投影回原始维度
24        return self.w3(hidden)
总结

如果在设计大模型：

激活函数 ：首选 SwiGLU（或 GeGLU）

归一化 ：搭配 Pre-RMSNorm

维度调整 ：记得将 FFN 的隐藏层维度调整为输入维度的 2.67 倍左右（而不是传统的 4 倍），以控制参数规模

这套组合（Pre-RMSNorm + SwiGLU + RoPE）构成了目前开源界最强大的 LLM 架构基石（如 LLaMA 3, Qwen 2.5, Mistral 等）

3.3 模型配置（7B）与硬件要求

3.4 模型特点

优点

具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3（参数量达 1750 亿）

可以在单块 V100 GPU 上运行,而最大的 650 亿参数的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B

缺点

会产生偏见性、有毒或者虚假的内容

在中文上效果差，训练语料不包含中文或者一个汉字切分为多个token，编码效率低，模型学习难度大.

3.5 衍生应用

3.6 迭代版本

LLaMA 2（Open Foundation and Fine-Tuned Chat Models）：LLaMA 2是LLaMA模型的升级迭代版本，其模型架构基本和llama一样。不同点:

LLama2训练语料相比LLaMA多出40%，上下文长度是由之前的2048升级到4096，可以理解和生成更长的文本

新增预预训练数据，并注重安全&隐私问题

训练出了chat 版本 llama-2-chat : SFT RLHF
LLaMA 3模型还是采用decoder-only架构的transformer进行训练。与Llama 2相比，有以下几个变化：

词汇表扩大到了128k(12万)：更高效地编码语言，从而大大提高了模型性能

提升推理效率：在8B和70B大小的数据上都采用了分组查询注意力（GQA） ，来提升推理速度

预训练数据继续扩大：训练数据上，用了超过15T的token进行预训练，比之前的Llama 2模型的数据集大了7倍

总结:

1.LLaMA的模型架构？

和 GPT 系列一样，LLaMA 模型也是Decoder-only架构

LLaMA的训练目标？

根据已有的上文去预测下一个词

LLaMA模型的改动点？

RMS-Norm(Pre_Layer Norm) ; SwiGLU激活函数；RoPE位置编码

4. BLOOM模型

4.1 BLOOM模型简介与训练目标

BLOOM系列模型是由 Hugging Face公司训练的大语言模型. 训练数据包含了英语、中文、法语、西班牙语、葡萄牙语等共 46 种语言，另外还包含 13 种编程语言. 1.5TB 经过去重和清洗的文本，其中中文语料占比为 16.2%.

按照模型参数量，BLOOM 模型有 560M、1.1B、1.7B、3B、7.1B 和 176B 这几个不同参数规模的模型

BLOOM 的训练目标是语言模型，即根据已有的上文去预测下一个词

关于tokenizer，BLOOM 在多语种语料上使用Byte Pair Encoding(BPE)算法进行训练得到 tokenizer，词表大小为250880

4.2 模型结构

和GPT系列一样，BLOOM模型也是Decoder-only架构，但结合前人的工作做了一些改进，比如：

ALiBi介绍

ALiBi（Attention with Linear Biases，带线性偏置的注意力机制）之所以在长度外推（Length Extrapolation） 方面表现出极强的优势，核心原因在于它彻底抛弃了传统的绝对位置嵌入，转而使用一种基于相对距离的、无需训练的线性惩罚机制。

具体来说，ALiBi 优秀的外推性主要归功于以下几个核心机制：

1. 偏置基于"相对距离"而非"绝对位置"

传统的位置编码（如正弦/余弦编码或可学习嵌入）为每个绝对位置分配一个固定的向量。当推理时的序列长度超过训练时的最大长度时，模型会遇到从未见过的位置编码，导致性能断崖式下跌。

而 ALiBi 的偏置项是根据 Query 和 Key 之间的**相对距离（∣i−j∣ ）**动态生成的。无论序列多长，偏置始终基于相对距离计算，这种设计天然支持任意长度的序列，从根本上解除了序列长度的限制。

2. 强效的"近期归纳偏置"（Inductive Bias towards Recency）

ALiBi 的核心思想是"less is more"------在计算注意力分数时，根据 token 间的距离施加一个负的线性惩罚（距离越远，惩罚越大）。

这种设计鼓励模型优先关注距离较近的词，这与自然语言中"邻近词语通常相关性更高"的局部依赖特性完美契合。

即使在长序列中，模型也能有效聚焦于相关信息，避免因序列过长导致注意力权重过度分散（Attention Dilution）。

3. 缓解"早期标记诅咒"（Early Token Curse）

在处理长文本时，如果将序列切分为固定长度的子序列进行非重叠推理，子序列开头的 token 往往缺乏足够的上下文，导致预测性能下降。

ALiBi 通过支持更长的序列输入，减少了子序列划分的频率，从而让更多预测拥有充足的上下文,显著降低了早期标记诅咒的影响。实验表明，ALiBi 的性能提升很大程度上源于这一机制

4. 位置信息与值向量（Values）解耦

在 ALiBi 中，位置信息仅作为偏置作用于 Query 和 Key 的注意力分数上，而不直接融入值向量（Values）。这减少了位置信息对模型输出的直接干扰，从而增强了模型在长度外推时的稳定性。

5. 无参数与固定斜率设计

ALiBi 的斜率参数（m)是通过几何序列预先固定的，不需要训练 。这种固定的数学规则使得模型不会去死记硬背特定长度下的位置模式，从而避免了过拟合训练长度，提升了在不同长度数据集上的泛化能力

总结对比：

与 RoPE（旋转位置编码） 通过**"事前融合"（旋转 Q/K 向量）来隐式引入相对位置不同，ALiBi 采用的是"事后惩罚"（直接在注意力分数矩阵上加偏置）。这种简单直接的硬偏置设计，不仅计算开销极低**，还赋予了模型在短文本上训练、在超长文本上稳定推理的卓越外推能力

4.3 模型配置（176B）与硬件要求

4.4 模型特点

优点

具有良好的多语言适应性，能够在多种语言间进行切换，且无需重新训练

缺点

会产生偏见性、有毒或者虚假的内容

4.5 衍生应用

轩辕: 金融领域大模型 ，度小满 在 BLOOM-176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练 与微调

ELLE: 链家仅使用由ChatGPT生产的数据，对 BLOOMZ- 7B1-mt 进行了指令微调
总结:

1.BLOOM的模型架构？

和GPT系列一样，BLOOM 模型也是Decoder-only架构

BLOOM的训练目标？

根据已有的上文去预测下一个词

BLOOM模型的改动点？

Embedding Layer Norm; Pre Layer Norm ;GeLU激活函数 ；ALiBi位置编码

5. Baichuan-7B模型

5.1 模型简介与训练目标

Baichuan-7B由百川智能 于2023年6月发布的一个开放且可商用的大型预训练语言模型，其支持中英双语，是在约 1.2万亿 (1.2T) 个 token上训练的70亿参数模型

Baichuan-7B 的训练目标也是语言模型，即根据已有的上文去预测下一个词

关于tokenizer，使用了BPE分词算法作为 tokenizer，词表大小64000.

关于数据，原始数据包括开源的中英文数据和自行抓取的中文互联网数据，以及部分高质量知识性数据

5.2 模型结构

和LLaMA 一样的模型设计,也是 Decoder-only架构,但结合前人的工作做了一些改进,比如：

5.3 模型配置（7B）与模型特点

5.4 迭代版本

Baichuan-13B 是由百川智能继Baichuan-7B之后开发的包含130亿参数的开源可商用的大规模语言模型，在权威的中文和英文benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下几个特点：

**更大尺寸、更多数据:**参数量达到130亿，训练了1.4 万亿tokens.支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为4096

**更高效的推理:**开源 int8 和int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上

开源免费可商用: Baichuan-13B不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用
总结:

1.Baichuan-7B的模型架构？

和 LLaMA架构一致，也是 Decoder-only架构

Baichuan-7B的训练目标？

根据已有的上文去预测下一个词

Baichuan-7B模型的改动点？

Pre Layer Norm; SwiGLU激活函数；RoPE位置编码

6. Qwen模型

6.1 模型简介与训练目标

Qwen大语言模型是由阿里巴巴训练并开源的一系列大语言模型。最早于2023年8月份开源70亿参数规模 ，随后几个月时间内陆续开源了4个不同规模版本的模型，最低参数18亿，最高参数720亿

Qwen系列模型包括：Qwen系列、Qwen1.5 系列、Qwen2 系列、Qwen2.5 系列,Qwen3 系列（当前主流）

Qwen3 系列（当前主流）

架构升级 ：Qwen3 全面转向了 MoE 架构，实现了"激活参数少，总参数多"的高效推理模式。

尺寸变化 ：不再单纯追求密集模型的尺寸堆叠，而是推出了如 Qwen3-30B-A3B（总参数30B，激活3B）等高效版本。

原生思考能力：Qwen3 原生集成了类似 DeepSeek-R1 的强化学习推理能力，无需外挂模块即可进行复杂的思维链推导。

Qwen-VL 与 Omni 多模态

视觉增强：最新的 Qwen-VL 模型在 OCR 识别、图表理解和视频分析上超越了纯文本模型的范畴。

全模态交互：Omni 版本支持实时语音对话和端到端的音视频理解，延迟大幅降低。

长上下文突破

相比图片中的 128K，最新版本的标准上下文窗口已普遍提升至 1M (100万) tokens 级别，部分特化版本甚至支持更长，彻底解决了"大海捞针"的难题

6.2 模型结构

也是基于 Transformer 的Decoder-only架构，但结合前人的工作做了一些改进，比如：

6.3 模型配置与模型特点

Qwen2.5-7B-Instruct

Qwen3.7-Max与Qwen3.7-Plus

截至2026年6月，Qwen3.7系列模型 已正式发布，其核心版本包括 Qwen3.7-Max 与 Qwen3.7-Plus，二者共享100万Tokens超长上下文窗口与35小时自治执行上限，但在架构、模态能力与应用场景上存在本质差异

Qwen3.7-Max：纯文本旗舰推理基座

架构与参数：采用万亿级MoE混合专家架构，总参数量超1万亿，专注极致文本推理与复杂逻辑推演，无视觉/视频处理能力。
核心能力：在编程智能体（如SWE-Pro 60.4）、通用智能体（MCP-Mark 64.6）及高精度推理（GPQA Diamond 92.2）等基准测试中刷新全球最高分，幻觉率较前代降低52%。
适用场景：高强度智能体开发、百万行代码重构、超长文档深度分析、金融/法律等专业领域的高精度推演。

Qwen3.7-Plus：多模态全能型模型

架构与参数：支持文本、图像、视频、文档等多模态输入，内置100+高频工具并支持链式调用，兼容Claude Code、OpenClaw等主流智能体框架。
核心能力：在多模态理解与生成、跨模态推理、长周期自主执行方面表现优异，适用于需要综合感知与决策的复杂任务。
适用场景：智能座舱、智能眼镜、多模态内容创作、跨模态数据分析等需要融合多种信息源的AI应用。

与前代模型的对比

相比Qwen2.5系列，Qwen3.7在以下方面实现显著跃升：

上下文长度：从128K提升至100万Tokens，可处理整本书籍或大型项目代码库。
智能体能力：引入35小时自治执行上限，支持更复杂的长程任务规划与工具调用。
训练数据：预训练数据量从18万亿tokens增至36万亿tokens，显著提升模型的泛化能力与知识覆盖范围

总结:

Qwen-2.5

1.Qwen-2.5的模型架构？

也是基于Transformer模型的 Decoder-only架构

2.Qwen-2.5的训练目标？

也属于Causal Model(因果模型)，根据已有的上文去预测下一个词

Qwen-2.5模型的改动点？

GQA ; RMSNorm ; SwiGLU激活函数；RoPE位置编码

Qwen3.7系列

Qwen3.7系列模型在架构、训练目标和核心改动上相比Qwen2.5实现了全面升级，其技术演进路径清晰且针对性强，主要体现在以下三个方面：

模型架构

Qwen3.7系列采用MoE（混合专家）架构 ，这是与Qwen2.5最本质的区别。Qwen2.5是传统的Dense（密集）Transformer Decoder-only架构，而Qwen3.7-Max作为旗舰版本，总参数量超过1万亿，但激活参数仅为22B左右，通过动态路由机制仅激活部分专家网络，从而在保持高性能的同时大幅降低推理成本。这种架构特别适合处理长上下文和复杂智能体任务，是其支持100万Tokens超长上下文窗口的技术基础。

训练目标

Qwen3.7延续了Causal Language Modeling（因果语言建模）的核心目标，即根据上文预测下一个token。但其训练策略进行了重大革新：预训练阶段引入了三阶段渐进式训练（通用能力→推理能力→长上下文能力），后训练阶段则强化了"思考模式"与"非思考模式"的融合，并通过大规模强化学习（RL）优化智能体执行能力。这使得模型不仅能生成文本，更能自主规划、调用工具并完成长周期任务，训练目标从"对话生成"升级为"智能体执行"。

核心改动点

架构层面 ：引入MoE架构，移除QKV偏置，增加QK-Norm以提升训练稳定性

激活函数与归一化:继续用SwiGLU和RMSNorm,但针对MoE架构进行了适配优化

位置编码：仍基于RoPE，但扩展支持百万级上下文长度，需配合新的旋转位置编码插值策略

训练数据：预训练数据量从Qwen2.5的18万亿tokens提升至36万亿tokens，并引入大量合成数据与多语言标注数据

后训练流程：新增"Long-CoT Cold Start"和"强弱蒸馏"机制，使小模型能快速继承大模型的推理能力，同时支持用户灵活切换"思考/非思考"模式

【上一篇】【AI大模型应用开发】【基础】3.ChatGPT模型原理介绍

【下一篇】