1.ROUGE
原文链接
ROUGE 用作机器翻译评价指标的初衷是这样的:在 SMT(统计机器翻译)时代,机器翻译效果稀烂,需要同时评价翻译的准确度和流畅度;等到 NMT (神经网络机器翻译)出来以后,神经网络脑补能力极强,翻译出的结果都是通顺的,但是有时候容易瞎翻译。
ROUGE的出现很大程度上是为了解决NMT的漏翻问题(低召回率)。所以 ROUGE 只适合评价 NMT,而不适用于 SMT,因为它不管候选译文流不流畅。
2.macro-F1与micro-F1
原文
F1 score的公式:
- micro-F1:在计算公式中考虑到了每个类别的数量,所以适用于数据分布不平衡的情况;但同时因为考虑到数据的数量,所以在数据极度不平衡的情况下,数量较多数量的类会较大的影响到F1的值;
- macro-F1:没有考虑到数据的数量,所以会平等的看待每一类(因为每一类的precision和recall都在0-1之间),会相对受高precision和高recall类的影响较大;
3.CHRF
原文
CHRF++其实就是CHRF的改进,所以就更新了,论文是在2017年发表的。而且和CHRF的是同一个作者。
论文解读:
论文开头提到别人研究过β最好为2,这一点论文后面也实验确认过。
CHRF++其实和CHRF差不多。但是CHRF++是字符级和单词级都用到了,然后算一个平均值。
论文中提到别人研究过字符级n-gram的n最好不要超过6,单词级n-gram的n最好不要超过4。
CHRF++的字符级n-gram的n最好是6,单词级n-gram的n最好是1或2。
from nltk.translate.chrf_score import sentence_chrf
ref = 'the cat is on the mat'.split()
hyp = 'the the the the the the the'.split()
sentence_chrf(ref, hyp, min_len=1, max_len=1, beta=3.0)
# 0.48484848484848486
4.JGA
JGA(联合精度)的定义:假设对话有 N 轮,存在轮次 t,t 以及 t 前面的轮次对话轮次全部预测正确,而 t 后没有对话或者 t+1 轮次的对话状态预测错误,由于对话状态是累积的,所以 t+1 后所累积的对话状态一般来说很难预测正确,则该段对话的联合精度为:t/N,如图,在这个例子中,对 B0t 的 6 个正确预测中有 2 个,这使得整个对话的 JGA 得分为 33.33%。(2)从以上结果来看,虽然联合目标精度是评价 DST 的方便指标,但它也有一定的局限性。这个问题的主要来源是真相 Bt 的累积性质。因此,一旦发生了错误的预测,就很难在随后的回合中得到正确的预测。例如,在图 1 中,第 2 轮的预测出现了错误,这影响了以后所有的预测。所以,如果模型错误预测了第一个回合,很可能 JGA 为零。因此,JGA 可以破坏 DST 模型的真正潜力,并提供一个被低估的性能。
5.FEQA
受文本摘要中其他基于问答(QA)的自动度量的启发,Wang等人;Durmus等人【2020;2020】分别提出了基于QA的事实一致性评估指标QAGS和FEQA。这两个指标都是基于这样一种直觉:如果我们对摘要及其源文档提出问题,如果摘要与源文档事实上一致,我们会得到类似的答案。如图4所示,它们都由三个步骤组成:(1)给定生成的摘要,问题生成(QG)模型生成一组关于摘要的问题,这些问题的标准答案是摘要中的命名实体和关键短语。(2) 然后使用问答(QA)模型来回答给定源文档的这些问题。(3) 基于相应答案的相似性来计算事实一致性得分。因为在实体层面评估事实一致性,所以这些方法比基于文本蕴涵的方法更易于解释。QG和QA模型的阅读理解能力使这些方法在这项任务中表现良好。然而,这些方法的计算成本很高。
*