山东大学的 Liu 和 Han 测试了三种代码智能体 harness（Claude Code、OpenCode 和 mini-SWE-agent），发现复杂框架并未改善模型的实际编程能力，主要区别在于消耗了更多 token。所有测试均在离线环境下进行。
研究覆盖了 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型。论文标题直接给出结论：harness 买到的主要是 token（What does a harness buy? Mostly tokens）。
性能差异来自配置而非框架
Claude Opus 5 仅在 Claude Code 中作为参考运行。研究者移除 Claude Code 的工具调用功能后，Claude Opus 5 的结果没有变化，说明复杂的工具集成对该模型无实质影响。
OpenCode 的性能差距中，约一半可以追溯到输出限制这一配置参数。研究还在 Terminal-Bench 2.1 上进行了小规模交叉检查，结果显示相同模式。
数据与复现
数据和分析脚本已在 GitHub 上公开，支持对实验结果的验证。研究未涉及 harness 对推理速度或错误恢复能力的影响，仅聚焦于最终解题率与资源消耗的对比。
原文地址：tools.wflynn.cn/aitools/tre...
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
