论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
不加辣椒6 分钟前
第15章 上下文窗口管理与长文本策略
人工智能
牛奶1 小时前
AI 能赚钱了——但赚的不是你
人工智能·ai编程·nvidia
凌杰1 小时前
AI 学习笔记:研究方法的演变
人工智能
半盏药香1 小时前
由于jinja2的starlette版本过高引发的问题:500 Server Error TypeError: unhashable type: 'dict'
人工智能
阿里云大数据AI技术1 小时前
MiniMax M3、Kimi K2.7 Code来啦!PAI已支持一键部署,开源前沿触手可及
人工智能·agent
百度Geek说2 小时前
AI Coding 的底层框架:一切优化都是在对抗熵增
人工智能
Java研究者2 小时前
AI智能体研发 | 什么是OpenAI API协议
人工智能·大模型·openai·api·agent·智能体
只是没名字2 小时前
Codex CLI Windows 新手安装教程:从 Node.js 到首次运行
人工智能
用户8630652696132 小时前
Krea 2 LoRA 训练全流程踩坑记录:从打标到双卡并行的 Windows 原生实战
人工智能
木雷坞5 小时前
让 AI 编程助手跑得起项目:Dev Container 实践记录
人工智能