论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
程序员-小李1 分钟前
基于PyTorch的动物识别模型训练与应用实战
人工智能·pytorch·python
掘金安东尼5 分钟前
AI 生成代码,从 Copilot 到 Claude Code 的全景测评
人工智能
说私域12 分钟前
基于开源链动2+1模式AI智能名片S2B2C商城小程序的赛道力构建与品牌发展研究
人工智能·小程序
喜欢吃豆1 小时前
llama.cpp 全方位技术指南:从底层原理到实战部署
人工智能·语言模型·大模型·llama·量化·llama.cpp
e6zzseo2 小时前
独立站的优势和劣势和运营技巧
大数据·人工智能
富唯智能3 小时前
移动+协作+视觉:开箱即用的下一代复合机器人如何重塑智能工厂
人工智能·工业机器人·复合机器人
Antonio9154 小时前
【图像处理】图像的基础几何变换
图像处理·人工智能·计算机视觉
新加坡内哥谈技术5 小时前
Perplexity AI 的 RAG 架构全解析:幕后技术详解
人工智能
武子康5 小时前
AI研究-119 DeepSeek-OCR PyTorch FlashAttn 2.7.3 推理与部署 模型规模与资源详细分析
人工智能·深度学习·机器学习·ai·ocr·deepseek·deepseek-ocr
Sirius Wu6 小时前
深入浅出:Tongyi DeepResearch技术解读
人工智能·语言模型·langchain·aigc