论文略读:MUSE: Machine Unlearning Six-Way Evaluation for Language Models

ICLR 2025 56668

语言模型(LMs)通常在海量文本数据上进行训练,其中可能包含隐私信息受版权保护的内容 。当数据所有者因隐私或版权问题要求删除其数据时,最理想的做法是精确地遗忘这些数据点 ,即重新训练模型但不包含相关数据。然而,这在现代大型模型中几乎是不可行的 ,因此催生了众多近似机器遗忘(approximate machine unlearning)算法

目前对于这些算法的评估通常范围狭窄 ,难以从模型部署者数据拥有者 的角度全面衡量其有效性与实用性。为解决这一问题,本文提出了 MUSE ------一个全面的机器遗忘评估基准(Machine Unlearning Evaluation Benchmark),系统定义了对被遗忘模型的六项关键要求:

  1. 无原文记忆(No Verbatim Memorization):模型不应再生成训练数据中的原始句子;

  2. 无知识记忆(No Knowledge Memorization):不应再体现对敏感知识内容的推理或泛化能力;

  3. 无隐私泄露(No Privacy Leakage):模型不应泄露训练数据中的私人信息;

  4. 保留模型效用(Utility Preservation):对未被删除的数据应保持原有性能;

  5. 可扩展性(Scalability):能够处理大规模的删除请求;

  6. 可持续性(Sustainability):支持多轮连续删除请求而不损害模型质量。

作者在一个 70 亿参数语言模型上,选取了 8 种主流遗忘算法,使用 哈利波特系列小说新闻文章作为需遗忘的数据源,进行系统评测。主要发现包括:

  • 大多数算法能在不同程度上防止原文与知识记忆;

  • 仅有一种方法能有效避免隐私泄露

  • 现有方法在部署端实际表现不佳:它们往往显著损害模型在保留数据上的效能 ,且无法稳定支持连续或大规模的删除请求

综上,本文通过 MUSE 框架揭示了当前语言模型机器遗忘技术在实用性与鲁棒性方面的重大缺陷,强调未来研究需从多维度同时考虑"删除效果"与"模型可用性"的权衡,推动真正可部署的机器遗忘方法发展。

相关推荐
小关会打代码1 小时前
Python编程进阶知识之第四课处理数据(pandas)
python·机器学习·pandas·数据处理
一百天成为python专家2 小时前
数据可视化
开发语言·人工智能·python·机器学习·信息可视化·numpy
金井PRATHAMA2 小时前
主要分布在背侧海马体(dHPC)CA1区域(dCA1)的时空联合细胞对NLP中的深层语义分析的积极影响和启示
人工智能·神经网络·自然语言处理
说私域2 小时前
技术赋能与营销创新:开源链动2+1模式AI智能名片S2B2C商城小程序的流量转化路径研究
人工智能·小程序·开源
倒悬于世5 小时前
开源的语音合成大模型-Cosyvoice使用介绍
人工智能·python·语音识别
pk_xz1234566 小时前
光电二极管探测器电流信号处理与指令输出系统
人工智能·深度学习·数学建模·数据挖掘·信号处理·超分辨率重建
蓝蜂物联网6 小时前
边缘计算网关赋能智慧农业:物联网边缘计算的创新应用与实践
人工智能·物联网·边缘计算
酌沧6 小时前
AI图像编辑能力评测的8大测评集
人工智能
tanak7 小时前
2025年7月23日 AI 今日头条
人工智能·microsoft
爷_7 小时前
字节跳动震撼开源Coze平台!手把手教你本地搭建AI智能体开发环境
前端·人工智能·后端