论文笔记:Tuning Language Models by Proxy

COLM 2024

1 INTRO

尽管大型预训练语言模型(如 GPT-4、LLAMA2 等)具有很强的通用能力,但它们仍然需要进一步的微调来更好地完成特定任务,比如:

  • 遵循指令(instruction-following)

  • 适应特定领域(如代码、法律等)

  • 执行具体任务(如问答、数学推理)

问题是:

  • 这些微调成本高昂,资源需求大;

  • 对于闭源模型(如 GPT-4),用户甚至无法访问其参数,无法直接微调。

  • 论文提出了Proxy-tuning

    • 一种 "推理时调整(decoding-time adaptation)" 的方法,不需要修改大模型的权重,仅需访问其 输出的 token 分布(logits)。

    • 基本思想是

      • 微调一个 小模型(称为 expert,专家模型);

      • 将其与原始小模型(称为 anti-expert,反专家)对比;

      • 将它们的预测差异用于 引导大模型的输出,以模仿微调后模型的行为。

2 方法

  • 假设我们有一个预训练模型,我们希望对它进行调优。
    • 对于任意输入,我们假设可以访问其对整个词表的输出 logits。
    • 我们的问题是:如何在不需要修改其参数的情况下,引导 表现得像一个已经被调优过的模型?
  • 我们假设存在一个小型的预训练模型,我们将其直接微调,得到。
    • 注意, 不必与 属于同一个模型家族;我们只要求它们共享同一个词表。
    • Proxy-tuning 的运作方式是:在大模型的输出分布上,为每个 token 加上一个 logit 偏移量 ,这个偏移量由 与 的 logits 差值决定。

3 实验结果

指令微调(Instruction-tuning)

  • 目标:让大模型(如 LLAMA2-13B, 70B)具备 LLAMA2-7B-Chat 那样的指令跟随能力。

  • 效果:

    • Proxy-tuning 缩小了 LLAMA2-13B 与其 Chat 版之间 91% 的性能差距;

    • 在 70B 上缩小了 88% 的差距;

    • 某些任务中甚至 超越了直接微调模型的效果(尤其是知识密集型任务),说明 proxy-tuning 保留了更多原始知识。

领域适应(Domain Adaptation)

  • 使用 CODELLAMA-7B 引导 LLAMA2-13B 向编程任务迁移;

  • 在代码基准测试中,提升了 17--32% 的准确率。

任务微调(Task Finetuning)

  • 应用于问答、数学推理等;

  • Proxy-tuned LLAMA2-70B 比原始 70B 提升了 31%;

  • 同时也超过了微调的 7B 模型 9%,说明结合大模型的知识和小模型的专长是有效的。

相关推荐
Csvn1 天前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库1 天前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静1 天前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康1 天前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea1 天前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen1 天前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷1 天前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘1 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习