论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
godspeed_lucip19 小时前
LLM和Agent——专题6:Multi Agent 入门(5)
人工智能·python
网安情报局19 小时前
告别排队与高延迟:直连GPT全系列,解锁低门槛、高稳定的AI生产力
人工智能·gpt·api·ai大模型
Hali_Botebie19 小时前
非共轭先验(Non-conjugate Prior)和共轭先验(Conjugate Prior)
人工智能·机器学习
没事别瞎琢磨19 小时前
三、配置系统——默认值与解析
人工智能·node.js
拓朗工控19 小时前
视觉检测行业工控机选型指南:核心要素与避坑策略
人工智能·数码相机·视觉检测·工控机·工业电脑
Urbano20 小时前
工装制作全流程科普:从面料到自动化生产
网络·人工智能
武子康20 小时前
调查研究-166 VoxCPM 详解:一个值得重点关注的开源 TTS 项目
人工智能·openai
hhzz20 小时前
详细解读Anthropic报告《当AI构建自己时...》
人工智能
xrgs_shz20 小时前
基于K-Means聚类分析的鸢尾花分类
人工智能·机器学习
Chef_Chen20 小时前
论文解读:GAIA给通用AI助手泼冷水,人类92分GPT-4插件版只到30分
人工智能