论文笔记:Tuning Language Models by Proxy

COLM 2024

1 INTRO

尽管大型预训练语言模型(如 GPT-4、LLAMA2 等)具有很强的通用能力,但它们仍然需要进一步的微调来更好地完成特定任务,比如:

  • 遵循指令(instruction-following)

  • 适应特定领域(如代码、法律等)

  • 执行具体任务(如问答、数学推理)

问题是:

  • 这些微调成本高昂,资源需求大;

  • 对于闭源模型(如 GPT-4),用户甚至无法访问其参数,无法直接微调

  • 论文提出了Proxy-tuning

    • 一种 "推理时调整(decoding-time adaptation)" 的方法,不需要修改大模型的权重,仅需访问其 输出的 token 分布(logits)

    • 基本思想是

      • 微调一个 小模型(称为 expert,专家模型);

      • 将其与原始小模型(称为 anti-expert,反专家)对比;

      • 将它们的预测差异用于 引导大模型的输出,以模仿微调后模型的行为。

2 方法

  • 假设我们有一个预训练模型,我们希望对它进行调优。
    • 对于任意输入,我们假设可以访问其对整个词表的输出 logits。
    • 我们的问题是:如何在不需要修改其参数的情况下,引导 表现得像一个已经被调优过的模型?
  • 我们假设存在一个小型的预训练模型,我们将其直接微调,得到
    • 注意, 不必与 属于同一个模型家族;我们只要求它们共享同一个词表。
    • Proxy-tuning 的运作方式是:在大模型的输出分布上,为每个 token 加上一个 logit 偏移量 ,这个偏移量由 的 logits 差值决定。

3 实验结果

指令微调(Instruction-tuning)

  • 目标:让大模型(如 LLAMA2-13B, 70B)具备 LLAMA2-7B-Chat 那样的指令跟随能力。

  • 效果:

    • Proxy-tuning 缩小了 LLAMA2-13B 与其 Chat 版之间 91% 的性能差距

    • 在 70B 上缩小了 88% 的差距;

    • 某些任务中甚至 超越了直接微调模型的效果(尤其是知识密集型任务),说明 proxy-tuning 保留了更多原始知识。

领域适应(Domain Adaptation)

  • 使用 CODELLAMA-7B 引导 LLAMA2-13B 向编程任务迁移;

  • 在代码基准测试中,提升了 17--32% 的准确率

任务微调(Task Finetuning)

  • 应用于问答、数学推理等;

  • Proxy-tuned LLAMA2-70B 比原始 70B 提升了 31%

  • 同时也超过了微调的 7B 模型 9%,说明结合大模型的知识和小模型的专长是有效的。

相关推荐
FlagOS智算系统软件栈2 小时前
与创新者同频!与FlagOS共赴开源之约
人工智能·ai·开源
加油吧zkf4 小时前
循环神经网络 RNN:从时间序列到自然语言的秘密武器
人工智能·rnn·自然语言处理
koo3645 小时前
李宏毅机器学习笔记30
人工智能·笔记·机器学习
长桥夜波5 小时前
机器学习日报02
人工智能·机器学习·neo4j
Elastic 中国社区官方博客5 小时前
介绍 Elastic 的 Agent Builder - 9.2
大数据·运维·人工智能·elasticsearch·搜索引擎·ai·全文检索
拓端研究室5 小时前
专题:2025年制造业数智化发展白皮书:数字化转型与智能制造|附130+份报告PDF、数据、绘图模板汇总下载
人工智能
就不爱吃大米饭6 小时前
ChatGPT官方AI浏览器正式推出:ChatGPT Atlas浏览器功能及操作全解!
人工智能·chatgpt
牛客企业服务6 小时前
企业招聘新趋势:「AI面试」如何破解在线作弊难题?
人工智能·面试·职场和发展·招聘·ai招聘
infominer6 小时前
数据处理像搭乐高?详解 RAGFlow Ingestion Pipeline
人工智能·ai-native
wudl55666 小时前
华工科技(000988)2025年4月22日—10月22日
大数据·人工智能·科技