论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
Coder_Boy_21 小时前
DDD从0到企业级:迭代式学习 (共17章)之 四
java·人工智能·驱动开发·学习
木头左21 小时前
LSTM量化交易策略中时间序列预测的关键输入参数分析与Python实现
人工智能·python·lstm
king王一帅21 小时前
流式渲染 Incremark、ant-design-x markdown、streammarkdown-vue 全流程方案对比
前端·javascript·人工智能
AI营销实验室21 小时前
AI CRM系统推荐,原圈科技赋能地产销售
人工智能·科技
cskywit1 天前
MobileMamba中的小波分析
人工智能·深度学习
ws2019071 天前
智行未来,科技驱动:AUTO TECH China 2026广州展将于11月27日举办!
人工智能·科技·汽车
HyperAI超神经1 天前
【vLLM 学习】Prithvi Geospatial Mae
人工智能·python·深度学习·学习·大语言模型·gpu·vllm
赫凯1 天前
【强化学习】第一章 强化学习初探
人工智能·python·强化学习
百锦再1 天前
AI赋能智慧客服与人工客服融合系统企业级方案
人工智能·ai·aigc·模型·自然语言·赋能·只能
"YOUDIG"1 天前
AI智能匹配:一站式电脑配置推荐平台——科学原理与个性化服务解析
人工智能