论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities

Editing Large Language Models: Problems, Methods, and Opportunities

论文链接
代码链接

摘要

由于大语言模型(LLM)中可能存在一些过时的、不适当的和错误的信息,所以有必要纠正模型中的相关信息。如何高效地修改模型中的相关信息而不影响无关的信息,是模型编辑方法试图解决的问题。本篇文章对大语言模型上的模型编辑方法(model editing)进行了分类介绍和评估,并提出了一个新的基准,包括评估数据集和评估标准。

分类

LLM上的模型编辑方法主要包括两类:(a) 模型参数不变(Preserving LLMs' Parameters);(b) 模型参数改变(Preserving LLMs' Parameters)。模型参数不变的方法又可以分为额外参数 (Additional Parameters) 和基于记忆的 (Memory-based Model)方法。而模型参数改变的方法又可以分为定位然后编辑类(Locate-Then-Edit)和元学习类(Meta-learning)。

Methods for Preserving LLMs' Parameters

Memory-based Model 该类方法又两类分支,一种是借助一个在新的事实上训练的模型辅助 预测,另一种是借助检索 到的知识作为提示词的一部分信息。
Additional Parameters 该类方法引入额外的可训练参数,这些参数根据新的事实数据集训练,而模型的原始参数不变。

Methods for Modifying LLMs' Parameters

Locate-Then-Edit 该类方法首先定位到特定知识相关的参数,然后直接进行修改(无需额外的训练和微调)。
Meta-learning 该类方法应用一个超网络学习更新模型参数的变量。

相关推荐
老金带你玩AI7 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP7 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷7 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI7 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
程序员韩星7 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
爱查宝小二8 小时前
爱查宝降AIGC效果实测与过检能力展示
aigc
Cosolar8 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
花椒技术8 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
其实防守也摸鱼8 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构