ICLR 2025 56668
语言模型（LMs）通常在海量文本数据上进行训练，其中可能包含隐私信息 或受版权保护的内容 。当数据所有者因隐私或版权问题要求删除其数据时，最理想的做法是精确地遗忘这些数据点 ，即重新训练模型但不包含相关数据。然而，这在现代大型模型中几乎是不可行的 ，因此催生了众多近似机器遗忘（approximate machine unlearning）算法。
目前对于这些算法的评估通常范围狭窄 ，难以从模型部署者 和数据拥有者 的角度全面衡量其有效性与实用性。为解决这一问题，本文提出了 MUSE ------一个全面的机器遗忘评估基准（Machine Unlearning Evaluation Benchmark），系统定义了对被遗忘模型的六项关键要求：
-
无原文记忆（No Verbatim Memorization）：模型不应再生成训练数据中的原始句子；
-
无知识记忆（No Knowledge Memorization）：不应再体现对敏感知识内容的推理或泛化能力；
-
无隐私泄露（No Privacy Leakage）：模型不应泄露训练数据中的私人信息；
-
保留模型效用（Utility Preservation）：对未被删除的数据应保持原有性能；
-
可扩展性（Scalability）：能够处理大规模的删除请求；
-
可持续性（Sustainability）：支持多轮连续删除请求而不损害模型质量。
作者在一个 70 亿参数语言模型上，选取了 8 种主流遗忘算法，使用 哈利波特系列小说 和新闻文章作为需遗忘的数据源，进行系统评测。主要发现包括：
-
大多数算法能在不同程度上防止原文与知识记忆；
-
仅有一种方法能有效避免隐私泄露；
-
现有方法在部署端实际表现不佳：它们往往显著损害模型在保留数据上的效能 ，且无法稳定支持连续或大规模的删除请求。
综上，本文通过 MUSE 框架揭示了当前语言模型机器遗忘技术在实用性与鲁棒性方面的重大缺陷，强调未来研究需从多维度同时考虑"删除效果"与"模型可用性"的权衡，推动真正可部署的机器遗忘方法发展。
