大语言模型常见评估指标与经典模型架构解析
摘要：在自然语言处理领域，模型效果好坏不能只靠肉眼主观判断，需要依靠标准化评估指标做量化衡量；同时不同模型架构决定了模型的能力边界、适用任务。本文梳理BLEU、ROUGE、PPL三类常用评估指标，再详解BERT、GPT、Seq2Seq三大经典NLP模型架构，帮你理清基础核心概念。
一、NLP模型常用评估指标
在机器翻译、文本摘要、文本生成等任务中，我们需要客观指标量化模型输出文本质量，下面介绍工业界和学术界高频使用的三个指标：BLEU、ROUGE、PPL。
1. BLEU（双语评估替补，Bilingual Evaluation Understudy）
适用场景：机器翻译为主，也可用于文本生成类任务。
核心思想：对比模型生成文本和人工参考译文的n‑gram（n元词组）重合度，统计生成文本里出现在参考文本中的词组占比，同时增加简短惩罚，避免模型输出很短的句子骗取高分。
- n一般取1‑4，分别对应1元、2元、3元、4元词组；
- BLEU取值范围0~1，数值越接近1代表生成文本和参考译文匹配度越高；
- 局限：只看词组表面重合，不理解语义，会出现语义正确但词组不一样时分数偏低的问题。
2. ROUGE（Recall‑Oriented Understudy for Gisting Evaluation）
适用场景：文本摘要任务，也用于生成式对话评估。
核心思想：以召回率为核心，统计参考摘要的n‑gram有多少被模型生成文本覆盖。 常见细分版本：
- ROUGE‑N：n元词组召回；
- ROUGE‑L：基于最长公共子序列，衡量句子语序匹配程度。
BLEU侧重精确率 （生成出来的词有多少是参考里的），ROUGE侧重召回率（参考里的重要词有多少被生成出来）。摘要任务更关心有没有把关键信息覆盖，因此摘要多用ROUGE。
3. PPL 困惑度（Perplexity）
适用场景：语言模型本身质量评估，自回归模型非常常用。
核心思想：衡量语言模型对真实文本的预测能力。简单理解：PPL越低，代表模型越"懂"这句话，预测下一个token越准确。
计算公式可以简单理解为概率的几何平均的倒数。
- PPL越小越好；理想情况，模型100%确定下一个词，PPL=1；
- 常用于GPT这类自回归语言模型的预训练效果评估；
- 局限：PPL低不等于下游任务效果一定好，只能代表语言建模能力。
小提示：BLEU、ROUGE需要人工参考文本；PPL不需要参考译文，只需要原始文本就可以计算。
二、三大经典NLP模型架构
Transformer提出之后，衍生出三大主流范式：自编码、自回归、序列到序列，分别代表BERT、GPT、Seq2Seq。
1. 自编码模型 --- BERT
核心特点：双向注意力（Encoder-only，仅编码器）
BERT是典型的仅编码器(Encoder‑only) 自编码模型。 训练方式：MLM掩码语言模型，随机把句子中部分token替换成[MASK]，让模型利用上下文左右双向信息预测被掩码掉的词。
✅ 擅长任务：理解类任务。文本分类、情感分析、命名实体识别、语义相似度、阅读理解。 ❌ 不擅长：直接做文本生成，没有解码器，无法逐个token输出长文本。
关键点：BERT看得到一个词左边和右边全部的词，双向理解，主打文本理解。
2. 自回归模型 --- GPT
核心特点：单向因果注意力（Decoder‑only，仅解码器）
GPT属于仅解码器(Decoder‑only) 的自回归模型。 训练方式：给定上文，预测下一个token。因果掩码保证每个位置只能看到自己以及前面的token，看不到未来的词。生成时从第一个词开始，逐个预测后续token，循环迭代输出完整文本。
✅ 擅长任务：生成类任务。对话、故事续写、文章写作、代码生成。现在绝大多数大模型都是Decoder‑only架构。 ❌ 局限：天然单向，对句子完整语义理解弱于BERT，做分类任务需要额外微调。
关键点：GPT只能看过去，看不到未来，主打文本生成。
3. 序列到序列模型 Seq2Seq（Encoder‑Decoder）
核心特点：编码器+解码器完整架构
完整Seq2Seq = Encoder编码器 + Decoder解码器。
- Encoder：输入源序列，做双向编码，把输入全部信息压缩为一组上下文向量；
- Decoder：读取编码器输出的上下文，同时结合已经生成的历史输出，自回归输出目标序列。
代表模型：T5、BART。
✅ 擅长任务：输入输出长度不一样的转换任务。机器翻译、文本摘要、复述改写。
- 机器翻译：源语言输入 → Encoder编码 → Decoder输出目标语言；
- 文本摘要：长原文输入 → Encoder编码 → Decoder输出简短摘要。
关键点：一边理解输入，一边生成输出，专门解决"把A序列变成B序列"的转换任务。
三、总结对比
| 模型架构 | 代表模型 | 组件 | 注意力 | 核心定位 | 典型任务 |
|---|---|---|---|---|---|
| 自编码 | BERT | 仅Encoder | 双向 | 理解 | 分类、NER、语义匹配 |
| 自回归 | GPT | 仅Decoder | 单向因果 | 生成 | 对话、写作、续写 |
| 序列到序列 | T5/BART | Encoder+Decoder | 编码双向，解码单向 | 序列转换 | 翻译、摘要、改写 |
评估指标小结：
- BLEU：机器翻译，看重生成词组的精确匹配；
- ROUGE：文本摘要，看重参考信息的召回覆盖；
- PPL：语言模型原生质量，衡量预测下一词的能力。
注意：所有自动指标都只是参考，最终上线效果仍然离不开人工评测。
结尾
以上是NLP入门必须掌握的基础概念。理解评估指标可以让你看懂论文实验结果；分清三种模型架构，能快速判断什么任务该选择哪一类预训练模型。后续可以进一步学习Transformer底层注意力机制、微调、Prompt等进阶内容。