论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities

Editing Large Language Models: Problems, Methods, and Opportunities

论文链接
代码链接

摘要

由于大语言模型(LLM)中可能存在一些过时的、不适当的和错误的信息,所以有必要纠正模型中的相关信息。如何高效地修改模型中的相关信息而不影响无关的信息,是模型编辑方法试图解决的问题。本篇文章对大语言模型上的模型编辑方法(model editing)进行了分类介绍和评估,并提出了一个新的基准,包括评估数据集和评估标准。

分类

LLM上的模型编辑方法主要包括两类:(a) 模型参数不变(Preserving LLMs' Parameters);(b) 模型参数改变(Preserving LLMs' Parameters)。模型参数不变的方法又可以分为额外参数 (Additional Parameters) 和基于记忆的 (Memory-based Model)方法。而模型参数改变的方法又可以分为定位然后编辑类(Locate-Then-Edit)和元学习类(Meta-learning)。

Methods for Preserving LLMs' Parameters

Memory-based Model 该类方法又两类分支,一种是借助一个在新的事实上训练的模型辅助 预测,另一种是借助检索 到的知识作为提示词的一部分信息。
Additional Parameters 该类方法引入额外的可训练参数,这些参数根据新的事实数据集训练,而模型的原始参数不变。

Methods for Modifying LLMs' Parameters

Locate-Then-Edit 该类方法首先定位到特定知识相关的参数,然后直接进行修改(无需额外的训练和微调)。
Meta-learning 该类方法应用一个超网络学习更新模型参数的变量。

相关推荐
小虎AI生活6 小时前
哇塞~24小时开机的WorkBuddy免费领,速来
aigc·ai编程
7177776 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn6 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健7 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道7 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9967 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队8 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术9 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream9 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
学无止境小袁同学9 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli