论文略读:REEF: Representation Encoding Fingerprints for Large Language Models

ICLR 2025 ORAL

  • 保护开源大语言模型(LLMs)的知识产权 至关重要,因为训练 LLM 需要大量的计算资源和数据投入。

    • 模型拥有者与第三方都有必要识别某个可疑模型是否是在原模型基础上的衍生版本。
  • ------>论文提出了一种无需训练的识别方法 REEF ,从 LLM 特征表示的角度出发,用于判断可疑模型与被侵权模型之间的关系。

    • REEF 通过在相同样本上计算和比较可疑模型与目标模型的中心化核对齐相似度(Centered Kernel Alignment, CKA),来衡量两者的相似性。
  • 该方法具有以下优点:

    • 无需重新训练模型

    • 不会削弱模型的通用能力

    • 顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

相关推荐
小白学大数据6 分钟前
爬取汽车之家评论并利用NLP进行关键词提取
人工智能·自然语言处理·汽车
biubiubiu070612 分钟前
AI中的Prompt
人工智能·prompt
AIGC_ZY14 分钟前
RAG 技术详解:结合检索与生成的智能问答新范式
人工智能
1 小时前
前端工程师必备:5个改变开发效率的 MCP Server
人工智能
Ai尚研修-贾莲1 小时前
最新Transformer模型及深度学习前沿技术应用
人工智能·深度学习·transformer·生成式模型·图神经网络·注意力机制·目标检测算法
weixin_453253651 小时前
机器学习----模型评价与优化
人工智能·机器学习
DeepSeek忠实粉丝1 小时前
Deepseek篇--阿里QwQ-325b性能比肩Deepseek满血版
人工智能·程序员·llm
jndingxin1 小时前
OpenCV CUDA模块图像变形------对图像进行 尺寸缩放(Resize)操作函数resize()
人工智能·opencv·计算机视觉
清醒的兰1 小时前
OpenCV 多边形绘制与填充
图像处理·人工智能·opencv·计算机视觉
luozhonghua20001 小时前
opencv opencv_contrib vs2020 源码安装
人工智能·opencv·计算机视觉