Queen Planner深度解析：Agent竞争从模型时代进入系统时代

引言

在Agent技术快速发展的今天，业界的注意力似乎更多地集中在"模型能力"上------更大的参数规模、更长的上下文窗口、更强的推理能力。很多团队在构建Agent时，默认的思路是：换一个更强的模型，效果自然就好了。

但阿里巴巴达摩院提出的Queen Planner Agent架构，向我们揭示了一个重要的事实：Agent的瓶颈不只是模型，而是数据产生、模型训练、运行时Harness三者构成的完整闭环。 单纯追求模型能力的提升，投入产出比正在递减；而系统层面的优化，正在成为Agent能力跃升的关键变量。

Queen Planner的核心洞见可以用一句话概括：Agent竞争正在从"模型竞争"转向"系统竞争"。 一个优秀的Agent，不仅仅需要一个强大的基座模型，更需要一套高效的数据生产机制、一套科学的训练方法论，以及一套精巧的运行时框架（Harness）。这三者相互作用、协同进化，才能将模型的潜力充分释放出来。

本文将深入解析Queen Planner的架构设计，从三层AI体系（AI for Data、AI for Training、AI for Harness）到Model-Harness协同进化机制，从实验数据到工程启示，帮助读者理解Agent系统竞争时代的核心逻辑。

核心技术解析

一、Agent发展的瓶颈：从模型能力到系统能力

在深入Queen Planner的架构之前，我们需要先理解一个问题：为什么说Agent的瓶颈不是模型，而是系统？

1.1 模型能力的边际效益递减

过去几年，大语言模型的能力提升有目共睹。从GPT-3到GPT-4，从Llama到Qwen，模型的推理能力、知识储备、语言理解都在快速进步。但当我们把这些模型应用到Agent场景中时，会发现一个现象：

模型能力提升带来的Agent效果提升，并非线性关系。

原因在于，Agent不是模型的"直接输出"，而是"模型+工具+记忆+工作流"共同作用的结果。模型只是这个系统中的一个组件（虽然是核心组件），但如果其他组件跟不上，模型再强也无法充分发挥。

打个比方：模型就像一个聪明的大脑，但如果没有好的"手脚"（工具调用）、好的"记忆"（记忆系统）、好的"工作习惯"（工作流设计），这个大脑再聪明，也很难高效地完成复杂任务。

1.2 Agent效果的三大制约因素

Queen Planner团队将Agent效果的制约因素归纳为三个层面：

层面	问题	表现
数据层	训练数据质量不高、覆盖不足	模型在某些任务上表现好，在另一些任务上频繁出错
训练层	训练目标与实际场景不匹配	模型在测试集上得分高，但在真实任务中表现不佳
运行时层	Harness设计不合理，信息组织混乱	模型"知道"怎么做，但"用不好"工具和记忆

这三个层面相互影响：数据质量影响模型能力，训练方法决定模型如何使用数据，而Harness决定模型能力在运行时能发挥多少。

如果只优化其中一个层面，效果必然受限。比如，只换更强的模型，但运行时Harness很糟糕，模型连"该调用什么工具""该从记忆中找什么信息"都搞不清楚，能力再强也白搭。

1.3 闭环思维：从线性流程到循环进化

传统的Agent开发流程往往是线性的：

复制代码

收集数据 → 训练模型 → 编写Harness → 部署运行 → （结束）

问题发现了，就人工调整一下，然后重新发布。这种模式下，迭代效率低，且改进依赖人的经验和判断。

Queen Planner提出的是一个闭环体系：

复制代码

Data → Training → Harness → Execution → Feedback → Data

每一次执行都会产生反馈，反馈自动回流到数据层，数据更新后驱动模型再训练，模型进化后又推动Harness优化，形成一个持续自我改进的循环。

这个闭环的关键在于自动化------不是靠人来分析问题、调整策略，而是让AI自己来诊断问题、补全数据、优化训练、改进Harness。这就是Queen Planner"三层AI"架构的核心思想。

二、Queen Planner的三层AI架构

Queen Planner的架构可以概括为"三层AI"体系，每一层都在用AI优化AI自身：

复制代码

┌─────────────────────────────────────┐
│         AI for Harness              │  运行时优化
│  （智能组织运行时信息与流程）        │
├─────────────────────────────────────┤
│         AI for Training             │  训练优化
│  （智能设计训练策略与奖励机制）      │
├─────────────────────────────────────┤
│         AI for Data                 │  数据优化
│  （智能发现数据缺口并自动补全）      │
└─────────────────────────────────────┘

下面逐层解析。

2.1 AI for Data：自动补课系统

数据是模型能力的基础。但在Agent场景下，数据的获取和标注成本极高------你不可能为每一种可能的任务场景都人工准备高质量的训练数据。

AI for Data的核心思想是：让AI自己发现自己的弱项，然后自动生成数据来补课。

具体来说，这个"自动补课系统"的工作流程如下：

第一步：记录失败轨迹

Agent在执行任务的过程中，每一步操作都被完整记录
当任务失败或出现错误时，系统自动保存完整的失败轨迹（包括输入、中间状态、模型输出、错误信息等）
这些失败轨迹就是"待补课"的原始素材

第二步：归类弱项

AI对失败轨迹进行自动分析和归类，识别出模型的"薄弱知识点"
例如：发现模型在"多步骤数学计算"上经常出错，或者在"工具参数格式"上频繁失误
弱项分类可以是多维度的：任务类型、错误类型、难度等级等

第三步：重点补弱

针对识别出的弱项，AI自动生成针对性的训练数据
数据生成不是简单的"随机出题"，而是围绕弱项进行有针对性的扩展和变异
例如，如果模型在"酒店价格比较"上容易出错，就生成大量不同条件下的价格比较任务来强化训练

第四步：验证效果

用新数据训练后，在弱项测试集上验证提升效果
如果提升明显，说明补弱有效，继续加大该方向的数据投入
如果提升不明显，说明问题可能不在数据层面，需要从训练或Harness层面找原因

AI for Data的价值在于，它将"数据生产"从一个人工驱动的、低频的、经验导向的过程，变成了一个AI驱动的、高频的、数据导向的过程。模型跑得越多，发现的问题越多，数据补全得越充分，能力提升就越快------这本身就是一个正反馈循环。

2.2 AI for Training：CARE奖励机制

有了好的数据，还需要好的训练方法。在强化学习（RLHF/RLAIF）训练中，奖励函数的设计至关重要------奖励什么，模型就会朝什么方向优化。

Queen Planner提出了CARE奖励机制 ，其核心思想是：不同学习阶段，奖励的侧重点应该不同。

CARE的三层递进奖励

CARE将模型的学习过程分为三个阶段，每个阶段关注不同的指标：

阶段	关注重点	奖励导向	说明
初学阶段	进步速度	看"有没有进步"	模型刚开始学一个新任务，最重要的是"比上一次做得好"，即使整体正确率还不高
中间阶段	正确率	看"做得对不对"	当模型已经掌握基本方法后，重点转向正确率，确保每一步都做对
熟练阶段	效率	看"做得快不快、省不省"	当正确率已经很高时，开始追求效率------用更少的步骤、更少的token完成任务

这个设计很符合人类的学习规律：学新东西的时候，先鼓励"敢尝试、有进步"；入门之后，开始要求"做准确、不出错"；等到熟练了，再追求"高效率、用巧劲"。

如果不分阶段，从一开始就追求效率，可能会导致模型"走捷径"------为了省token而跳过必要的推理步骤，结果错误率上升。

Advantage Calibration：防止"省token"压过正确性

在训练中，有一个常见的问题：如果奖励函数同时包含"正确性"和"效率"两个维度，模型可能会发现，"省token"带来的奖励增益比"做对题"更容易获得，于是开始偷懒------减少推理步骤、输出更短的答案，哪怕正确率下降。

Queen Planner提出了**Advantage Calibration（优势校准）**机制来解决这个问题。其核心思路是：

对不同类型的奖励进行归一化处理，确保它们的"量级"在同一水平
动态调整奖励权重：当模型的正确率低于某个阈值时，正确性奖励的权重更高；当正确率达标后，效率奖励的权重才逐渐提升
设置"正确性底线"------如果正确率不达标，效率再高也得不到高奖励

简单来说，就是先保证做对，再追求做好。不能为了效率牺牲正确性。

2.3 AI for Harness：运行时信息组织

Harness是Agent运行时的"脚手架"------它决定了模型在执行任务时能看到什么信息、能调用什么工具、记忆如何组织、反馈如何回流。

很多人低估了Harness的重要性，认为"模型够强就行"。但实际上，同样一个模型，在好的Harness和差的Harness下，表现可能天差地别。

Queen Planner的AI for Harness，核心是用AI来优化运行时的信息组织方式，让模型在最合适的时机看到最合适的信息。

Harness包含的核心要素

一个完整的Agent Harness通常包含以下要素：

Tools（工具）：模型可以调用的外部能力（API、函数、数据库查询等）
Skills（技能）：完成特定任务的标准化流程（SOP），告诉模型"遇到这类问题应该按什么步骤做"
Memory（记忆）：历史交互中积累的知识和经验，分为事实记忆、情节记忆等
执行反馈：工具调用的返回结果、任务执行的中间状态、成功/失败的信号
环境状态：当前的时间、用户信息、会话状态等上下文信息

这些要素如何组织、以什么顺序呈现给模型、在什么时机注入，直接影响模型的决策质量。

AI优化Harness的几个方向

AI for Harness不是让AI"重写Harness代码"（虽然这也是一个方向），而是让AI动态优化Harness的行为：

动态工具选择：不是把所有工具都列给模型，而是根据当前任务场景，AI自动筛选出最相关的几个工具，减少模型的选择负担
上下文组织优化：AI根据任务类型和当前进度，动态调整上下文中各类信息的排列顺序和详略程度。例如，刚开始一个任务时多展示技能SOP，执行到中间时多展示记忆和反馈
记忆注入时机：AI判断什么时候需要从记忆库中检索信息、注入多少、以什么格式呈现，而不是固定在对话开始时一次性注入
反馈格式化：将工具返回的原始结果（可能是杂乱的JSON或长文本）整理成模型容易理解的格式，减少模型解析的负担

Harness优化的核心价值在于：不改变模型本身，只通过更好的信息组织和流程设计，就能显著提升Agent的表现。 这是一种低成本、高回报的优化路径。

三、Skill与Memory的本质区别

在讨论Harness时，有两个概念经常被混淆：Skill（技能）和Memory（记忆）。很多Agent架构将它们混在一起，但Queen Planner明确区分了两者的定位。

维度	Skill（技能）	Memory（记忆）
核心问题	回答"怎么做"（How）	回答"发生过什么"（What happened）
本质	标准化操作流程（SOP）	历史事实的记录
稳定性	相对稳定，更新频率低	持续增长，动态变化
通用性	同一类任务通用，不依赖具体用户	高度个性化，每个用户的记忆不同
获取方式	人工编写或通过学习总结	从交互过程中自动提取
例子	"预订酒店的五步流程"	"用户上次住的是希尔顿酒店"

为什么要做这个区分？因为两者的管理方式和使用场景完全不同：

Skill应该被精心设计和维护，它代表了Agent的"专业能力"。就像一个公司的SOP文档，需要专人负责、持续优化
Memory是自动积累的，它代表了Agent的"个性化经验"。就像每个员工的个人笔记，因人而异、自然增长

在运行时，两者的作用也不同：

Skill告诉模型"这个任务应该按什么步骤来做"------提供方法论
Memory告诉模型"这个用户有什么特殊情况"------提供个性化信息

一个设计良好的Agent，应该有清晰的Skill库和Memory库，两者各司其职、协同工作。

四、Long Context ≠ Long Term Memory

在Queen Planner的研究中，有一个非常重要的发现：长上下文不等于长期记忆。

很多人以为，把上下文窗口做大（比如128K、200K甚至1M），把所有历史对话都塞进去，就等于Agent有了长期记忆。但实验数据表明，事实并非如此。

4.1 为什么长上下文不能替代记忆系统

Queen Planner团队在实验中发现了一个反直觉的现象：当历史对话越长，把所有内容全部塞进上下文，效果反而会下降。

原因主要有以下几点：

注意力稀释：模型的注意力是有限的。当上下文很长时，模型很难精准地找到最相关的信息，反而会被大量无关内容干扰。这就像你在一个堆满文件的办公桌上找一份特定的文档，文件越多，找起来越费劲
信息权重失衡：最新的信息和最早的信息，在长上下文中的"存在感"是不同的。模型往往对最近的几轮对话印象最深，而较早的重要信息可能被"淹没"
噪声累积：历史对话中包含大量寒暄、试探、纠正等"非核心信息"，这些信息累积起来会形成噪声，干扰模型对当前任务的判断
缺乏结构化：原始对话是线性的、非结构化的，模型需要自己从中"提取"有用信息。而专门的记忆系统已经将信息结构化整理好了，模型可以直接使用

4.2 真正的记忆系统应该做什么

Queen Planner的结论是：真正的长期记忆系统，不是把所有东西都塞进上下文，而是"存→筛→检索→冲突解决→只送相关证据"。

这个流程可以拆解为：

存（Storage）：将有价值的信息结构化存储，而不是原样保存所有对话
筛（Filtering）：根据权限、时效性、相关性进行初步过滤
检索（Retrieval）：通过关键词+语义混合检索，找到可能相关的记忆
冲突解决（Conflict Resolution）：处理记忆之间的矛盾，确定哪些信息更可信
注入（Injection）：只将最相关的几条记忆送入上下文，作为决策的"证据"

这个过程就像一个优秀的研究助理：你问他一个问题，他不会把整本百科全书都搬给你，而是从图书馆里找出最相关的几页资料，整理好递给你。

长上下文的价值在于"装得多"，而好的记忆系统的价值在于"送得准"。两者不是替代关系，而是互补关系------长上下文给了记忆系统更大的"桌面"来摆放检索到的信息，但信息本身的筛选和组织，仍然需要专门的记忆系统来完成。

五、Model-Harness协同进化机制

Queen Planner最核心的思想，是模型和Harness不是两个独立优化的组件，而是应该协同进化的统一系统。

5.1 失败诊断：先分清是谁的问题

协同进化的前提，是能够准确诊断失败的原因------任务失败了，到底是模型能力不够，还是Harness设计有问题？

Queen Planner将失败原因分为两大类：

失败类型	表现	解决方案
模型能力问题	模型"不知道该怎么做"------给了正确的工具和信息，模型还是做不对	补数据、再训练，提升模型能力
Harness问题	模型"有能力但没发挥好"------不是不会做，而是没看到该看的信息、没拿到该拿的工具	改进Skill、优化Memory、调整运行时规则

举几个例子：

模型问题：给了模型计算器工具，但模型在复杂数学题上还是经常算错。这说明模型的数学推理能力不足，需要补充数学推理的训练数据
Harness问题：模型不知道在什么情况下应该调用计算器，每次都自己心算，结果经常算错。这说明Skill设计有问题，没有教会模型"遇到数学题应该用计算器"，需要优化Skill描述或调整提示词

5.2 协同进化的闭环流程

Model-Harness协同进化的流程如下：

复制代码

┌─────────────────────────────────────────────────────┐
│                                                     │
│  任务执行 → 失败收集 → 失败诊断 ──→ 模型问题 → 数据补全 → 模型重训练 │
│                          │                          ↑
│                          └──→ Harness问题 → Skill/Memory/规则优化 ──┘
│                                                     │
│                            ↓                        │
│                    验证效果，进入下一轮               │
│                                                     │
└─────────────────────────────────────────────────────┘

关键在于自动诊断 和自动优化：

AI自动分析每一次失败，判断问题出在模型还是Harness
如果是模型问题，自动触发AI for Data流程，生成补课数据并重训练
如果是Harness问题，自动触发AI for Harness流程，优化相关的Skill、Memory或运行时规则
优化后重新测试，验证效果是否提升

5.3 为什么协同进化很重要

模型和Harness的协同进化，本质上是在优化一个"系统"，而不是优化单个组件。它带来的好处是：

效率更高：避免在错误的方向上投入资源。比如，明明是Harness的问题，却花大力气去训模型，既费钱又没效果
效果叠加：模型提升一点，Harness优化一点，两者叠加的效果可能是1+1>2。因为更好的模型能更好地利用Harness提供的信息，而更好的Harness能让模型的能力更充分地发挥
持续进步：单一组件的优化总有天花板，但系统级的优化可以通过两者的相互促进持续推进。模型变强了，能支撑更复杂的Harness设计；Harness变好了，又能发现模型新的能力边界

工程实践与实验分析

Queen Planner的实验数据解读

Queen Planner在MobilePad数据集上的实验结果，非常有说服力地展示了协同进化的价值：

配置	得分	提升幅度
Model Only（纯模型，无Harness）	82.67	基准
+ 固定Harness	84.23	+1.56
+ 联合迭代（Model-Harness协同进化）	88.50	+4.27（相比固定Harness）

从数据中我们可以读出几个关键信息：

1. Harness本身就能带来显著提升

从82.67到84.23，提升了1.56分。这说明，即使不换模型、不重新训练，只是优化一下运行时的Harness设计，就能带来明显的效果提升
这对很多团队来说是一个重要启示：在追求更强模型之前，先把现有的Harness优化好，可能是ROI更高的选择

2. 联合迭代的增益远大于单独优化

从84.23到88.50，提升了4.27分。这个提升幅度远超单纯加Harness的效果
这说明，模型和Harness不是简单的"加法关系"，而是"乘法关系"------两者一起优化，产生的协同效应远大于各自优化的总和

3. 系统竞争力 > 模型竞争力

纯模型得分为82.67，而经过系统优化后达到88.50，提升了近6分
这6分的差距，可能比换一个更大的模型带来的提升还要多。而成本呢？Harness优化和数据补全的成本，远低于训练一个更大的模型

消融实验：固定模型只加Harness的效果

Queen Planner还做了一个消融实验：固定模型不变，只通过优化Harness来提升效果。结果如下：

配置	Overall得分
基础配置	71.90
+ Harness优化	77.05

在模型完全不变的情况下，仅通过Harness优化，overall得分就从71.90提升到了77.05，提升了5.15分。这个结果非常有冲击力------它说明，很多时候Agent表现不好，不是模型不行，而是Harness没有把模型的能力充分释放出来。

这对工程实践有很强的指导意义：

先调系统，再换模型：在考虑升级模型之前，先花时间优化Harness设计，可能以更低的成本获得更好的效果
Harness是核心竞争力：当模型逐渐趋同（大家都能用同样的基座模型）时，Harness的设计能力就成为Agent产品的核心差异化竞争力
系统思维很重要：做Agent不能只盯着模型，要有系统思维------数据、训练、Harness、反馈闭环，每个环节都影响最终效果

工程落地建议

基于Queen Planner的研究成果，我们在实际工程中可以采取以下策略：

建议1：建立完整的失败追踪体系

不要只看最终的成功率，要记录每一次失败的详细轨迹。包括：

任务输入和预期输出
每一步的模型输出和工具调用
失败发生的具体环节和原因
人工标注的失败类型（模型问题 / Harness问题）

没有好的失败数据，就没有优化的方向。

建议2：将Harness优化常态化

很多团队的Harness是"一锤子买卖"------上线时写好一套prompt和工作流，之后就很少改动。但实际上，Harness应该和模型一样，持续迭代优化。

可以建立Harness的A/B测试机制，每次小的调整都通过数据验证效果，逐步积累优化。

建议3：分层建设Skill体系

Skill不是越多越好，而是要有层次、有结构：

基础Skill：通用的操作方法（如"如何调用搜索工具""如何解析JSON结果"）
领域Skill：特定领域的工作流（如"酒店预订流程""机票改签流程"）
高级Skill：复杂任务的组合策略（如"多城市行程规划方法"）

每层Skill的粒度和抽象程度不同，适用的场景也不同。

建议4：重视数据飞轮效应

数据越好，模型越强；模型越强，能发现的问题越多；问题越多，数据补全越充分------这就是数据飞轮。

要让飞轮转起来，关键是第一步：建立自动化的失败数据收集和分析机制。没有这一步，数据生产完全依赖人工，飞轮永远转不起来。

总结与展望

Queen Planner Agent架构为我们揭示了Agent技术发展的一个重要趋势：竞争焦点正在从模型层转向系统层。

本文从多个维度解析了Queen Planner的核心思想：

三层AI架构：AI for Data（自动补课系统）、AI for Training（CARE奖励机制）、AI for Harness（运行时信息组织），每一层都在用AI优化AI自身，形成自驱动的改进循环
Skill与Memory的明确分工：Skill回答"怎么做"（SOP），Memory回答"发生过什么"（历史事实）。两者定位不同、管理方式不同，需要差异化设计
Long Context ≠ Long Term Memory：把所有历史塞进上下文不等于有记忆。真正的记忆系统需要"存→筛→检索→冲突解决→只送相关证据"，精准比量大更重要
Model-Harness协同进化：失败诊断区分模型问题和Harness问题，各自针对性优化，两者协同进化的效果远大于单独优化
实验数据的启示：固定模型仅优化Harness就能带来5分以上的提升，联合迭代更是能提升近6分------系统优化的ROI远超单纯的模型升级

Queen Planner最重要的贡献，不是提出了某个具体的算法或架构，而是转变了我们思考Agent的方式：从"如何做一个更强的模型"转向"如何构建一个能持续自我进化的Agent系统"。

展望未来，Agent领域的竞争格局将会发生深刻变化：

模型同质化：随着基座模型能力的趋同和API化，单纯依靠模型优势建立壁垒越来越难
系统差异化：数据飞轮、Harness设计、记忆系统、反馈闭环......这些系统层面的能力，将成为Agent产品的核心竞争力
进化速度决定胜负：谁的系统进化得更快------谁能更快地从失败中学习、更快地补全数据、更快地优化Harness------谁就能在竞争中胜出

对于开发者来说，这意味着我们需要从"模型使用者"升级为"系统架构师"。不仅要懂模型，还要懂数据、懂训练、懂运行时设计、懂反馈闭环。Agent开发不再是"调几个API、写几段prompt"那么简单，而是一项涉及多个层面的系统工程。

模型时代的Agent开发，比的是谁的基座更强；

系统时代的Agent开发，比的是谁的闭环更高效。

而Queen Planner告诉我们：后者的提升空间，远比前者大得多。