Harness^2:递归自进化智能体Harnessing框架

# Harness^2:递归自进化智能体Harnessing框架

Harness^2 是一个用于开放世界中递归智能体操控(Recursive Agent Harnessing) 的即插即用框架,旨在解决大语言模型智能体在缺乏标准答案 verifiers 的开放环境中面临的任务特定性与泛化难题。该框架通过任务级递归(Task-level recursion) 引入基于对比的"提出-探测-组合"步骤,在没有真实标签的情况下可靠地优化当前执行操控(execution harness),并可通过并行或顺序扩展提升效果。同时,它通过操控级递归(Harnessing-level recursion) 在任务完成后更新持续改进操控库(continual improvement harness) ,提取可复用的经验和教训以指导未来的操控优化。在多个专业基准测试和模型配置中,Harness^2 在无需改变基础模型权重的前提下,显著超越了基线方法并展示了出色的跨任务泛化与自适应能力。

论文的核心结论可以归纳为范式突破 、机制创新 与实证表现三个维度:


1. 范式突破:智能体性能不仅取决于模型,更取决于 Harness 的持续自我演进

  • 智能体框架的定义 :大语言模型智能体的能力不仅取决于基座模型本身,还极大程度上取决于围绕模型构建的 Harness(执行框架/脚手架),即 Prompt、记忆、技能、工具以及编排逻辑等。
  • 解决开放世界两大难题:传统 Harness 优化依赖固定的验证集或 Ground-Truth 评测器,且针对单一任务的修改难以泛化。论文证明,通过在无 Ground-Truth 标签的开放世界(Open World)中对 Harness 进行动态优化,冻结参数的基座模型能够实现持续的自主自我改进。

2. 机制创新:通过双层协同递归实现"当前任务优化"与"未来能力累积"

  • 任务级递归(Task-Level Recursion) :在缺乏 Ground-Truth 验证器的情况下,提出了对比式的 Propose--Probe--Compose(提出-探针测试-选择组合) 机制 。通过并行(Parallel)或顺序(Sequential)递归扩展探索预算 kk,在不破坏全局表现的前提下可靠地精炼当前任务的执行 Harness 。
  • Harness 级递归(Harnessing-Level Recursion) :任务完成后,系统提炼出优化过程中的经验与可复用组件,存入持续改进库(Harness Improvement Library)。这使得智能体不仅优化了当前任务的执行 Harness,还升级了未来优化 Harness 的能力。

3. 实证结论:跨基准测试的显著提升与测试时 Scaling 效应

  • 显著提升基线表现:在三大专业领域基准测试(WorkBuddy-Bench 办公/代码、JobBench 综合职业任务、LAB 法律任务)及 4 种模型-初始 Harness 配置下,仅需单步改进即可在 Base Harness 之上取得显著提升(例如 GLM-5 在 WorkBuddy-Bench 上提升高达 11.5 分,JobBench 提升 4.5 分,LAB 提升 11.8 个百分点)。
  • 单调扩展性(Test-Time Scaling):随着任务级递归预算 kk 的增加(无论并行还是顺序递归),智能体表现呈现单调持续增长,性能优于 ReasoningBank、Harness Scaling 和 Meta-Harness 等基线方法,且处于更优的算力-性能 Pareto 前沿上。
  • 较弱模型逆袭强模型:使用优化后 Harness 的较弱基座模型(如 GLM-5),其最终表现可以超越使用原始 Harness 的更强基座模型(如 Gemini 3.5 Flash)。
  • 同模型独立自主演进:当同一个模型(如 Opus 5、GLM-5、Gemini 3.5 Flash 等)同时充当执行者(Executor)和编辑者(Editor)时,依然能取得全面提升,证明 Harness 优化无需强行依赖更高级的外置 Meta-Editor。

4. 扩展发现:经验可迁移与工具调用可靠性增强

  • 跨任务与跨领域迁移:Harness 级递归积累的改进库具备很强的跨任务泛化能力;即使将从 JobBench 上积累的经验库直接迁移至 WorkBuddy-Bench,也能在不进行额外探针测试的情况下提升新任务的优化效率。
  • 降低工具错误率:在提升任务完成质量的同时,Harness^2 在所有测试基准上均显著降低了智能体的工具调用错误率(Tool-error rate)。

https://arxiv.org/html/2610.14224v1

相关推荐
byte轻骑兵1 天前
【LMP】规范精讲[12]: 链路层的花名册——一张表数完88条指令的门道
人工智能·蓝牙协议·lmp·蓝牙链路管理·通信学习
萤箜1 天前
Chroma、Pinecone、Milvus 选型对比:不同发展阶段该选哪款向量数据库
人工智能
w_zero_one1 天前
算法--构造
java·数据结构·算法
jimmyleeee1 天前
Agent安全之九:OWASP ASI09 人机信任利用------当人类成为攻击链上最后一道被攻破的关口
人工智能·安全
Gu_WenYun1 天前
从主题定价到订单定价:机器人基金的产业链观察
大数据·人工智能·金融
song150265372981 天前
小型零部件外观检测难?AI机器视觉检测设备,适配全行业小件质检
人工智能·计算机视觉·视觉检测
xsd202411181 天前
AI 智能美甲推荐系统技术全解析
人工智能·计算机视觉
原子延迟1 天前
批量压缩视频会变大?HandBrake等3款(2026)
图像处理·人工智能·计算机视觉·音视频
其实防守也摸鱼1 天前
信创安全竞赛知识总结与题库
大数据·网络·人工智能·算法·安全·php
Zhao-Jichao1 天前
AI Prompting for Everyone 课程笔记 - P19 数据分析 Data Analysis
人工智能·笔记·数据分析