机器翻译和文本生成评估指标:BLEU 计算公式

📌 BLEU 计算公式

BLEU 主要由**n-gram精确匹配率(Precision)长度惩罚(Brevity Penalty, BP)**组成。

1️⃣ n-gram 精确匹配率

计算不同长度的 n-gram(1-gram, 2-gram, ..., n-gram)在生成文本和参考文本中匹配的比例:

Pn=∑匹配的 n-gram 计数∑生成文本的 n-gram 计数P_n = \frac{\sum_{\text{匹配的 } n\text{-gram 计数}}}{\sum_{\text{生成文本的 } n\text{-gram 计数}}}Pn​=∑生成文本的 n-gram 计数​∑匹配的 n-gram 计数​​

其中:

  • 分子:生成文本的 n-gram 在参考文本中出现的次数

  • 分母:生成文本的 n-gram 总数

  • 通常计算 1-gram, 2-gram, 3-gram, 4-gram

2️⃣ 长度惩罚(Brevity Penalty, BP)

防止模型只生成短句(短句更容易匹配参考文本)。BP 计算公式如下:

BP={1,如果 c>re(1−rc),如果 c≤rBP = \begin{cases} 1, & \text{如果 } c > r \\ e^{(1 - \frac{r}{c})}, & \text{如果 } c \leq r \end{cases}BP={1,e(1−cr​),​如果 c>r如果 c≤r​

其中:

  • c 是生成文本的长度

  • r 是参考文本的长度

如果生成文本比参考文本短,惩罚因子 BP<1BP < 1BP<1 使 BLEU 分数变小。

3️⃣ 最终 BLEU 计算

BLEU=BP×exp⁡(∑n=1Nwnlog⁡Pn)BLEU = BP \times \exp \left( \sum_{n=1}^{N} w_n \log P_n \right)BLEU=BP×exp(n=1∑N​wn​logPn​)

其中:

  • PnP_nPn​ 是不同 n-gram 的精确率

  • wnw_nwn​ 是 n-gram 的权重(通常均匀分配,如 1-gram, 2-gram, 3-gram, 4-gram 各 25%)

  • BPBPBP 是长度惩罚


🔹 示例

假设:

  • 参考句子(Reference):"The cat is on the mat."

  • 生成句子(Hypothesis):"The cat is mat."

计算 1-gram 和 2-gram:

  • 1-gram 匹配("The", "cat", "is", "mat"):4/4 = 1.0

  • 2-gram 匹配("The cat", "cat is", "is mat"):2/3 ≈ 0.67

  • 长度惩罚

    • 生成句子长度 c=4c = 4c=4

    • 参考句子长度 r=6r = 6r=6

    • BP=e(1−6/4)=e−0.5≈0.606BP = e^{(1 - 6/4)} = e^{-0.5} \approx 0.606BP=e(1−6/4)=e−0.5≈0.606

最终:

BLEU=0.606×e(0.5×log⁡1.0+0.5×log⁡0.67)BLEU = 0.606 \times e^{(0.5 \times \log 1.0 + 0.5 \times \log 0.67)}BLEU=0.606×e(0.5×log1.0+0.5×log0.67)


🔥 Python 实现

可以用 nltksacrebleu 计算 BLEU:

1️⃣ 使用 nltk 计算 BLEU

📌 总结

  • BLEU 计算核心:n-gram 精确率 + 长度惩罚

  • 适用于:机器翻译、文本生成评估

  • 局限性

    • 不能捕捉语义信息(只计算 n-gram 匹配)

    • 过度偏向短句

    • 中文 BLEU 计算前需分词

我们来详细拆解 1-gram2-gram 匹配的计算过程。


📌 计算 1-gram 匹配

定义

1-gram(unigram)是指单个词,比如 "The", "cat", "is"

参考句子(Reference):

"The","cat","is","on","the","mat"\]\["The", "cat", "is", "on", "the", "mat"\]\["The","cat","is","on","the","mat"

生成句子(Hypothesis):

"The","cat","is","mat"\]\["The", "cat", "is", "mat"\]\["The","cat","is","mat"

计算 1-gram 精确率

  • 统计 生成句子 中的单词,并计算它们出现在参考句子中的次数

    • "The" ✅(参考中有)

    • "cat" ✅(参考中有)

    • "is" ✅(参考中有)

    • "mat" ✅(参考中有)

  • 计算 1-gram 精确率(Precision):

    P1=匹配的 1-gram 个数生成句子的 1-gram 总数P_1 = \frac{\text{匹配的 1-gram 个数}}{\text{生成句子的 1-gram 总数}}P1=生成句子的 1-gram 总数匹配的 1-gram 个数 P1=44=1.0P_1 = \frac{4}{4} = 1.0P1=44=1.0


📌 计算 2-gram 匹配

定义

2-gram(bigram)是指连续的两个单词,比如 "The cat", "cat is"

2-gram 列表

  • 参考句子的 2-gram(滑动窗口取 2 个词):

    "Thecat","catis","ison","onthe","themat"\]\["The cat", "cat is", "is on", "on the", "the mat"\]\["Thecat","catis","ison","onthe","themat"

  • 生成句子的 2-gram

    "Thecat","catis","ismat"\]\["The cat", "cat is", "is mat"\]\["Thecat","catis","ismat"

计算 2-gram 精确率

  • "The cat" ✅(参考中有)

  • "cat is" ✅(参考中有)

  • "is mat" ❌(参考中没有 "is mat"

匹配的 2-gram = 2

生成的 2-gram = 3

P2=23≈0.67P_2 = \frac{2}{3} \approx 0.67P2​=32​≈0.67


🔹 总结

  • 1-gram:P1=4/4=1.0P_1 = 4/4 = 1.0P1​=4/4=1.0

  • 2-gram:P2=2/3≈0.67P_2 = 2/3 \approx 0.67P2​=2/3≈0.67

  • 计算方法就是:

    • 找出 n-gram 片段

    • 看生成的 n-gram 里有多少个出现在参考文本中

    • 用匹配的 n-gram 个数 ÷ 生成的 n-gram 总数

相关推荐
一只小闪闪5 分钟前
langchain4j搭建失物招领系统(四)---实现更新功能
java·人工智能·后端
CJH(本人账号)6 分钟前
Trae-中国首款免费AI原生IDE
人工智能
豆芽8198 分钟前
基于 Flask 的图像分类预测案例解读
人工智能·后端·python·深度学习·神经网络·分类·flask
不一样的信息安全10 分钟前
AI渗透测试:网络安全的“黑魔法”还是“白魔法”?
人工智能·安全·web安全
小白的高手之路10 分钟前
Pytorch中torch.nn的学习
人工智能·pytorch·python·深度学习·神经网络·学习·机器学习
机器之心22 分钟前
第一个免费可用的智能Agent产品全量上线,中国公司智谱打造,推理模型比肩R1
人工智能
机器之心23 分钟前
200美金,人人可手搓QwQ,清华、蚂蚁开源极速RL框架AReaL-boba
人工智能
新智元23 分钟前
Gemini 2.5 疯狂反扑 OpenAI,智商 130 碾压人类!一键 3D 打印蛋糕、秒解魔方
人工智能·openai
新智元29 分钟前
不止吉卜力!GPT-4o 新玩法全网疯传,网友:AI 成精了
人工智能·openai
新智元32 分钟前
杭州具身黑马再斩超 5 亿融资,伯克利系 AI 科学家领衔冲击万亿市场!
人工智能·openai