13.7个百分点、6天16.7万星、99.9百分位会话超45分钟:Harness Engineering完全指南

摘要:2026年,AI圈正在形成新共识:大模型的能力不再是瓶颈,真正的瓶颈是如何让模型持续、稳定、可复用地产出价值。斯坦福联合Meta将Harness形式化为Agent执行系统的三大属性,CMU等机构提出ETCLOVG七层框架。LangChain仅优化Harness设计,编码Agent成绩从52.8%提升到66.5%,全程模型固定。同一模型,编码基准分数可从6.7%跃升至68.3%。

一、Harness是什么:Agent = Model + Harness

"Harness"直译是"马具"。模型是一匹马力很强的马,能跑,但你没法直接控制它往哪跑。Harness就是那套缰绳和车厢,把模型和让马真正拉车干活的组件------文件系统、终端、API、权限、上下文------绑在一起。

2026年5月斯坦福联合Meta发表的《Code as Agent Harness》形式化了三大属性:

属性 核心问题
可执行性 验证Agent实际做了什么,而非说了什么
可检查性 失败时产生可操作的诊断输出
状态性 会话间保持连续性,状态外部化

Anthropic数据显示,99.9百分位会话持续时间已超45分钟------状态性不是可选项。

二、ETCLOVG七层框架

CMU、耶鲁、亚马逊联合发表的Harness工程综述,将2022到2026年工程重心概括为三个阶段:提示工程(2022-2024)→上下文工程(2025)→Harness工程(2026至今)。

ETCLOVG七层框架中,前四层决定Agent能做什么,后三层决定做得对不对:

层级 职责
执行环境 决定Agent代码在哪里运行、受什么约束
工具接口 定义外部能力如何被描述、发现和调用
上下文管理 决定模型在短期、会话级和持久化层面能看到什么
生命周期与编排 覆盖从单Agent循环到多Agent协作的完整工作流
可观测性 捕获轨迹、成本、失败和可靠性信号
验证 把任务和轨迹转化为评估、失败归因和回归反馈
治理 通过权限、身份、策略、审计和人工监督约束系统行为

三、实战数据:13.7个百分点,模型没换

LangChain团队用Trace分析将编码Agent在Terminal-Bench 2.0上从52.8%提升到66.5%,全程保持GPT-5.2-Codex固定。

最常见的失败模式是:Agent写方案后重读代码、确认看起来没问题就停止------不执行测试验证。解决方案是在System Prompt中加入"Plan→Build→Verify→Fix"结构化指引,用中间件在Agent退出前强制提醒验证。

关键发现:提升主要来自tools、middleware和long-term memory的优化,而不是system prompt。

四、五条自进化路线

项目 核心贡献
AutoHarness(DeepMind) 让模型自动生成代码形式的Harness,拦截非法动作
Meta-Harness(Stanford) 把Harness当可搜索代码对象,Token消耗减少约1/4
AHE(复旦/北大) 10轮迭代将Terminal-Bench 2从69.7%提升到77.0%
Self-Harness Agent不依赖工程师,自主改进运行Harness
DeepSeek Harness "一切皆插件",MIT开源,6天16.7万星

五、50行代码的最小实现

一个Mini Harness核心结构不到50行,包含三大属性:实际执行工具调用(可执行性)、每步输入输出可追溯(可检查性)、messages列表维护完整会话状态(状态性)。

模型看"智商",Harness看"系统工程能力"。谁能在Harness层建立真正的工程能力,谁就能拿到那决定性的30个百分点。

查看原文

以上仅为核心速览。完整版包含:ETCLOVG七层框架完整拆解、AutoHarness/Meta-Harness/AHE/Self-Harness五大自进化项目架构详解、DeepSeek Harness插件开发完整代码、LangChain Harness优化六步流程、Mini Harness完整Python实现、六大应用领域实践数据与七项开放挑战。

本文首发于「阿Q的AI笔记」,点击下方链接阅读全文:

大模型必知必会:如何从0开始构建自己的Harness

相关推荐
chien01142 分钟前
算力效率的边界:3 个有价值观点 + 4 类遗留问题(AI Infra 技术解读)
人工智能
叶子丶苏1 小时前
VibeCoding实战三个AI小项目-VibeCoding入门笔记02
大数据·人工智能·笔记
不是万能的豆学长1 小时前
AI时代程序员职业前景重塑逻辑
人工智能·ai
土生土长的IU1 小时前
今日论题-AI革命对互联网的影响
大数据·人工智能
ByteCoder.1 小时前
每次开播都要重新准备话术,怎么整理成可复用模板?
人工智能·ai·助播虾
CV@CV1 小时前
世界模型与智能体协同推理逻辑
人工智能·算法·边缘计算·量子计算·具身智能
pusheng20251 小时前
普晟传感再获“消防产业核心配套优质品牌”:以可靠传感技术,让全球合规变简单
大数据·前端·人工智能·物联网·安全
sunshine8851 小时前
集成电路(IC)设计与封测行业10大常用ERP系统分析
大数据·数据库·人工智能
财迅通Ai1 小时前
卫星化学前三季度实现归母净利润90.59亿元,同比大增141.24%
人工智能·卫星化学