论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
xz2024102****2 分钟前
最大似然估计:损失函数的底层数学原理
人工智能·算法·机器学习·概率论
TY-20257 分钟前
【CV】OpenCV基本操作④——算术操作
人工智能·opencv·计算机视觉
聚客AI23 分钟前
🙈AI Agent的未来:工具调用将如何重塑智能应用?
人工智能·agent·mcp
幂简集成1 小时前
通义灵码 AI 程序员低代码 API 课程实战教程
android·人工智能·深度学习·神经网络·低代码·rxjava
Tadas-Gao1 小时前
阿里云通义MoE全局均衡技术:突破专家负载失衡的革新之道
人工智能·架构·大模型·llm·云计算
xiaozhazha_1 小时前
快鹭云业财一体化系统技术解析:低代码+AI如何破解数据孤岛难题
人工智能·低代码
pan0c231 小时前
集成学习(随机森林算法、Adaboost算法)
人工智能·机器学习·集成学习
pan0c231 小时前
集成学习 —— 梯度提升树GBDT、XGBoost
人工智能·机器学习·集成学习
Learn Beyond Limits1 小时前
Error metrics for skewed datasets|倾斜数据集的误差指标
大数据·人工智能·python·深度学习·机器学习·ai·吴恩达
我不是小upper2 小时前
一文详解深度学习中神经网络的各层结构与功能!
人工智能·pytorch·深度学习