论文发表于自然语言处理顶刊TACL-2024（原文链接）。目前模型编辑方法的评估主要集中在测试单个事实是否被成功注入，以及模型对其它事实的预测是否没有改变。作者认为这样的评估模式有限，因为注入一个事实会产生涟漪效应，模型应该同步更新一系列的额外事实。比如当注入：z是e的母亲时。模型应该同步更新：z的孩子是e的兄弟姐妹。为了解决这个问题：
1、提出一套新的评价标准，考虑模型编辑对涟漪效应的影响。
2、基于知识图构建了数据集RIPPLEDITS，用于捕捉各种类型的涟漪效应。
3、在RIPPLEDITS上评估了之前的编辑方法，发现简单的in-context编辑baseline获得了最好的分数，为模型编辑提供了一个有前途的研究方向。
阅读本文请同时参考原始论文图表。
方法
评价指标
如图1所示，当将埃菲尔铁塔所在城市修改为伦敦时，模型不但要回答出埃菲尔铁塔所在城市是伦敦，并且无关事实对的回答不能变动，还要回答出：1、所在国家是英国而不是法国。2、对应的协调世界时是UTC+0。也就是一系列受到这个编辑影响的事实都要作相应的修改，称为这些事实为涟漪效应 (Ripple Effects)。
对于一个给定模型，假设它学习到的知识可以表示为知识图谱的形式\\mathcal{K}=\\{(e_i,r_i,o_i)\\}_{i=1}\^N。则对于该模型的一个知识编辑\\delta:(e,r,o)\\to (e,r,o\^\*)，定义其涟漪效应为受到\\delta影响的事实集合\\mathcal{R}(\\delta)，并称集合大小\|\\mathcal{R}(\\delta)\|为这个编辑的严重程度。
由于涟漪效应跨度可能十分大，本文主要关注与编辑事实的实体e,o距离两跳以内的事实。为了评估模型的涟漪效应，提出了六个具体的评估标准。以修改事实(Prince, sibling, Nicholas Carminowe)为例，即修改后的模型关于问题：The sibling of Prince are ...，有答案Nicholas Carminowe。六个评估标准如图2所示：
A、逻辑泛化 (Logical generalization, LG)：测试模型是否回忆事实(x,r',z)，其中x\\in \\{e,o,o\^\*\\}，r'是与r语义相关的关系。A中举了一个与原始提问对称的例子，即测试事实(o\^\*,r,e)。
B、组合I (Compositionality I, CI)：通过链接(e,r,o\^\*)与(o\^\*,r',z)，测试模型是否回忆事实(e,r'',z)。其中模型在编辑之前就已知事实(o\^\*,r',z)，关系r''为r,r'的组合，从而通过关系组合跳过o\^\*。
C、组合II (Compositionality II, CII)：通过链接(e',r',e)与(e,r,o\^\*)，测试模型是否回忆事实(e',r'',o\^\*)。其中模型在编辑之前就已知事实(e',r',e)，关系r''为r',r的组合，从而通过关系组合跳过e。
D、主体别名 (Subject Aliasing, SA)：测试模型是否回忆事实(e',r,o\^\*)，其中e'是e的别名。
E、遗忘度 (Forgetfulness, FN)：对于1-N的关系r，测试模型是否回忆(e,r,o')。其中(e,r,o')是模型编辑前已知的事实。
F、关系特异性 (Relation Specificity, RS)：测试模型是否回忆与编辑事实无关的事实。
数据集构建
本文使用知识图构建基于以上评价指标的数据集RIPPLEDITS：
1、事实三元组的收集：从WIKIDATA（由事实三元组构成的关系知识库）中收集待编辑的事实三元组，依据三个原则：最近(Recent)、随机(Random)、流行(Popular)。
2、事实三元组的修改：对于Recent类型的三元组，模型训练时没有涉及，因此可以直接使用。对于Random和Popular类型的三元组，将相应的三元组事实修改为反事实。
3、关于以上得到的每个待编辑事实三元组，收集六个评估指标对应的测试三元组。
4、将所有事实三元组用模板转换为自然语言。
统计数据如表1所示和图4所示。
实验
图5：in-context编辑 (ICE) 的例子。
表3/4/5：各编辑方法在各模型上以及不同数据类别上的编辑结果。可以看出In-context编辑的综合效果最好。
表6：SOTA方法编辑GPT-2在4个评价指标上的平均结果。可以看出这些方法在这些涟漪效应上效果很差。
图6：ROME在不同参数的模型上编辑的准确率变化图。可以看出，模型参数量越大，ROME准确率越高。
图7：ROME、MEMIT、MEND分别使用三类数据编辑GPT-2在6个评价指标上的平均结果。
总结
1、本文在MQUAKE和浙大综述之后，2023/7/24发布arxiv。
2、本文所讨论的涟漪效应和浙大综述论文(Yao 等, 2023)中提到的可移植性 (Portability) 类似，但本文进一步细化为6个类别，综述中仅主要考虑了本文的2效应。