5 模型编辑
5.1 模型编辑简介
大语言模型有时会产生一些不符合人们期望的结果，如偏见、毒性和知识错误等。
偏见 是指模型生成的内容中包含刻板印象和社会偏见等不公正的观点，毒性 是指模型生成的内容中包含有害成分，而知识错误则是指模型提供的信息与事实不符。
然而，重新预训练存在成本过高等缺陷，微调存在过拟合、灾难性遗忘等缺陷。
为规避重新预训练和微调方法的缺点，模型编辑应运而生。其旨在精准、高效地修正大语言模型中的特定知识点，能够满足大语言模型对特定知识点进行更新的需求。
模型编辑思想
模型编辑定义
模型编辑挑战
模型编辑性质
常用数据集
在模型编辑的相关研究中，使用最广泛的是由Omer Levy 等人提出的zsRE数据集。
zsRE是一个问答任务的数据集，通过众包模板问题来评估模型对于特定关系（如实体间的"出生地"或"职业"等联系）的编辑能力。
在模型编辑中，zsRE数据集用于检查模型能否准确识别文本中的关系，以及能否根据新输入更新相关知识，从而评估模型编辑方法的准确性。
5.2 模型编辑经典方法
如果将大语言模型比作冒险游戏中的勇者，那么模型编辑可被看作一种满足"升级"需求的方法，可以分别从内外两个角度来考虑。
外部拓展法：通过设计特定的训练程序，使模型在保持原有知识的同时学习新信息。
内部修改法：通过调整模型内部特定层或神经元，来实现对模型输出的精确控制。
外部拓展法
外部拓展法包括知识缓存法 和附加参数法。
内部修改法
内部修改法包括元学习法 和定位编辑法。
方法比较
5.3 附加参数法：T-Patcher
补丁的位置
补丁的形式
补丁的实现
5.4 定位编辑法：ROME
知识存储位置
知识存储机制
精准知识编辑
5.5 模型编辑应用
精准模型更新
保护被遗忘权
由于大语言模型在训练和处理过程中也会记忆和使用个人信息，所以同样受到被遗忘权的法律约束。
机器遗忘
提升模型安全
