LLM 指标 | PPL vs. BLEU vs. ROUGE-L vs. METEOR vs. CIDEr

LLM 指标 | PPL vs. BLEU vs. ROUGE-L vs. METEOR vs. CIDEr

困惑度（Perplexity, PPL）↓

PPL的意义非常明了，用于测量模型对生成文本的不确定程度，不确定程度越低，模型的表现就越好。其计算方法是计算句子每个token的平均对数似然，再过一个指数函数。

定义

给定一个长度为\(n\)的token序列：

\[S=(w_1,w_2,\cdots,w_n) \]

那么该序列的PPL为：

\[PPL(S)=\exp\big(-\frac{1}{N}\sum^N_{i=1}\log P(w_i|w_1,\cdots,w_{i-1}\big) \]

BLEU（Bilingual Evaluation Understudy）↑

BLEU出自文章BLEU: a Method for Automatic Evaluation of Machine Translation."
Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics ，主要用以评估翻译任务中生成文本与参考文本的匹配程度。其更具体的形式BLEU@N 用以定义在\(1,2,\cdots,N\)-gram情况下，生成文本与参考文本的匹配程度，再通过一个**长度惩罚项（brevity penalty, BP）**避免模型的生成文本过短。

定义

给定生成文本为\(C\)，参考文本为\(\{R_1,R_2,\cdots,R_m\}\)

首先我们定义modified n-gram precision：

给定N-gram \(g_n\)，\(Count_S(g_n)\)表示在序列\(S\)中\(g\)出现的次数，那么我们可以定义modified N-gram precision：

\[p_n = \frac{\sum_{g_n\in C}\min(Count_C(g_n), \max_j Count_{R_i}(g_n))}{\sum_{g_n\in C}Count_C(g)} \]

通俗解释\(p_n\)定义了生成文本与参考文本之间的重叠程度，并且设定了每个词的出现次数上界为参考文本中出现次数上界。

接下来我们计算\(1,2,\cdots,N\)-gram的几何平均值（通常取\(n=1,2,3,4\)）

有：

\[P=\exp(\frac{1}{N}\sum^N_{n=1}\log p_n) \]

接下来计算长度惩罚项BP：

\[\text{BP} = \begin{cases} 1 & \text{if } c > r \\[2mm] \exp\left(1 - \frac{r}{c}\right) & \text{if } c \leq r \end{cases} \]

其中\(c\)为生成文本的长度，\(r\)为与生成文本\(c\)长度最接近的参考文本的长度

最后相乘得到BLEU：

\[BLEU=P\cdot BP \]

ROUGE-L ↑

ROUGE-L（Recall-Oriented Understudy for Gisting Evaluation - LCS）通过计算最长公共子串LCS 评估生成文本与参考文本之间的匹配程度，为此给定生成文本\(C\)和参考文本\(R\)，我们可以模仿混淆矩阵定义其precison，recall以及F1-score：

ROUGE- L Precison

\[P_{LCS} = \frac{LCS(C,R)}{|C|} \]

recall

\[R_{LCS}=\frac{LCS(C, R)}{|R|} \]

F1-scoure

\[F_{LCS}=\frac{2\cdot R_{LCS}\cdot {P_{LCS}}}{R_{LCS}+P_{LCS}} \]

METEOR

METEOR出自文章*Meteor: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments* ，为了解决BLEU指标不能处理非精确匹配 以及语序不敏感的两个缺陷，加入了语义对齐以及碎片化惩罚因子两个步骤。

语义对齐

首先通过贪心算法对所有的词语进行一一匹配，这种匹配考虑精确匹配、词干匹配或同义词匹配

PS：细节再补上去

计算recall和precision

给定生成文本\(C\)以及参考文本\(R\)，\(m\)为成功匹配的词语数量，我们分别可以计算其precision和recall

\[P=\frac{m}{|C|},R=\frac{m}{|R|} \]

计算F-score

通过上一步计算的precision和recall

\[F_{mean} = \frac{P\cdot R}{(1-\alpha)\cdot R + \alpha \cdot P} \]

其中\(\alpha\)为平衡recall和precision的权重，一般取\(\alpha = 0.9\)

计算碎片化惩罚项（fragmentation penalty）

生成文本中连续的匹配词会被同一个块（chunk）中，块的数量越多说明语序越不匹配，我们可以给出其定义：

\[FP =\gamma \bigg(\frac{\#\text{chunks}}{m}\bigg)^\beta \]

其中\(\beta\)定义了惩罚项函数的形状，\(\gamma\)定义了惩罚项的相对权重，一般取\(\beta = 3, \gamma=0.5\)

最后我们可以计算METEOR：

\[METEOR = F_{mean}*(1-FP) \]

CIDEr

CIDEr（Consensus-based Image Description Evaluation）出自文章*CIDEr: Consensus-based Image Description Evaluation*，主要用于Image Captioning任务中，评估生成文本与参考文本的匹配程度

通过计算TF-IDF N-gram向量的余弦相似度评估生成样本与评估样本的匹配程度

TF-IDF N-gram向量

给定生成文本\(C\)以及参考文本\(\{R_1,R_2,\cdots,R_m\}\)，我们可以计算每个文本\(S\)的TF-IDF向量：

\[g_n(S)=[w_S(g_1),w_S(g_2),\cdots,w_S(g_k)] \]

其中\(w_S(g_k)\)为N-gram \(g_k\)在文本\(S\)中的TF-IDF权重，定义为：

\[w_S(g_k)=TF(g_k,S)\cdot\log\frac{m}{\sum^m_{i=1}\mathbf{1}(g_k\in R_i)} \]

其中\(\sum^m_{i=1}\mathbf{1}(g_k\in R_i)\)表示在N-gram \(g_k\)在多少个参考文本中出现了

N-gram向量余弦相似度

接下来我们可以计算生成文本\(C\)和所有参考文本之间的N-gram向量余弦相似度

\[sim_n(C,R_i)=\frac{g_n(S)\cdot g_n(R_i)}{||g_n(S)||\ ||g_n(R_i)||} \]

对所有参考文本取平均得到\(CIDEr_n\)

\[CIDEr_n(C,R) = \frac{1}{m}\sum^m_{i=1}sim_n(C,R_i) \]

计算CIDEr

接下来我们计算\(1,2,\cdots,N\)-gram情况的平均值（通常取\(n=1,2,3,4\)）

\[CIDEr = \sum^N_{n=1}w_n\cdot CIDEr_n(C,R) \]

其中\(w_n\)为不同的N-gram情况的权重，一般取\(w_n=\frac{1}{N}\)