文章目录
- [一. Harness Engineering 简介](#一. Harness Engineering 简介)
- [二. 为什么要用 Harness](#二. 为什么要用 Harness)
- 三.核心架构：Harness 五层体系
- 四.全链路落地步骤与对应技术栈
一. Harness Engineering 简介
Harness Engineering 是构建用于 模型执行、评测、实验管理和结果分析的基础设施（evaluation / testing harness） 的工程实践，使不同模型能够在统一环境下进行自动化测试与性能比较。
更通俗一点说，AI 模型是单独的个体，每个模型各自为营。Harness Engineering是一个平台，可以承载多个AI模型，平台可以将业务拆分和细化成功能，每个AI模型负责不同的功能，使业务自动化，流程化。
二. 为什么要用 Harness
-
无论底层模型能力如何提升，AI Agents 在实际研发流程中存在的四个结构性缺陷。这些缺陷源于 LLM 的工作机制，无法通过单一手段彻底消除：
-
风险一
规则遗忘
项目规范以自然语言写入的 Rule 文件。但随着上下文窗口填充率升高，Agents 对规则的遵守度显著下降------上下文越复杂，规则衰退越明显。
-
风险二
约束规避
Agents 天然倾向于推动任务完成而非严格遵循约束。常见表现为"等价替换"、"特殊情况豁免"、"历史原因保留"等看似合理的绕行策略。
-
风险三
自审失效
单一 Agents 同时承担多种业务角色时，天然倾向于确认自身输出的正确性，可能会导致其中角色的业务输出结果不准确。比如单个 Agents 同时承担需求分析、编码实现、测试验证时，可能只会注重自身输出内容，而非发现并上报问题。
-
风险四
虚报完成
Agents 可能再未完整执行验证步骤的情况下报告"测试通过"、"构建成功"。在缺少真实验证的情况下，人工难以区分真实完成与幻觉式完成。
-