AI in Harness(四)

Harness 的本质是什么?

Harness 就是通过工程的手段,让 LLM 一轮一轮地挑选合适的 Tools,在受控的情况下完成工作。

如何理解 Harness 各个模块

  • 为了能够告诉 LLM 有什么 tools,所以需要有 tools 管理模块。获取 tools 列表,把 tools 的名字和描述告诉模型。
  • Tools 需要在受控的情况使用,为 tools 增加权限管理模块。高风险操作需要用户同意。
  • 为了增强 tools 的能力,增加了 hook。类似 Java 的 AOP 切面,在工具调用前、调用后扩展 tools 能力。
  • 为了让 Agent 更好地驱动 LLM 完成复杂任务,提供了 todo write 工具和 task system,让 LLM 先出计划再干活。
  • 为了隔离子任务的上下文,避免污染主 Agent,设计了 subAgent,用干净的上下文执行子任务。
  • 有些场景需要多 tools 组合执行、遵循特定流程,为了把这类领域知识封装成"说明书",设计了 skill 系统。
  • 多轮调用以后可能造成上下文膨胀,设计了上下文压缩能力,缓解 LLM 注意力问题。
  • 为了让 LLM 能够记录关键信息并跨会话共享,增加了 Memory 模块。
  • Tools 列表、Skill 说明、Memory 内容,这些能力都需要通过 System prompt "告诉" LLM,所以设计了 System prompt 系统。
  • 大模型是远程调用,可能有各种各样的失败,需要处理 LLM 返回的各种异常,保证 Agent 能够从故障中恢复。
  • 在某些场景中 tools 可能需要执行很长时间,可以生成一个 background task 在后台运行,不阻塞主 Agent。
  • 结合后台任务和定时触发器,就能支持定时任务(Cron),让 Agent 按计划自主运行。
  • 为了提升工作效率,引入了多 teammate 协作机制。
  • 为了方便多 teammate 协作,规定了 teammate 之间的交流协议。
  • Teammate 完成工作后也不用闲着,可以去任务板自主领取新任务。
  • 多个 teammate 并行工作时为了不互相干扰,增加了 Worktree Isolation,让大家各干各的。

历史文章:

AI in Harness(一)

AI in Harness(二)

Ai in Harness(三)

相关推荐
老金带你玩AI14 分钟前
我宣布!Magpie就是版本答案!
人工智能
Rocky Ding*22 分钟前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
软件技术NINI33 分钟前
基于SpringBoot和Vue的新能源汽车销售推荐系统
java·vue.js·spring boot·后端·汽车·毕业设计·毕设
GISer_Jing34 分钟前
Agent相关岗位时收集的各类技术面试题
后端·ai·langchain
武雄(小星Ai)37 分钟前
Ollama报llama-server binary not found排坑实录:服务活着引擎没了
人工智能·windows·大模型·ollama·排坑
bryant_meng1 小时前
【TNT】《Transformer in Transformer》
人工智能·深度学习·transformer·word embedding·tnt·sentence embed
量化分析码农1 小时前
【Python量化波动率实战 06】一键输出风险看板:波动率仪表盘工程化
后端
jay神1 小时前
基于 YOLOv8 的轴承缺陷检测(Web 版)
前端·人工智能·yolo
叼烟扛炮1 小时前
[LangChain] 学习笔记(08):工具调用底层闭环与第三方搜索(Tavily)实战
人工智能·笔记·学习·langchain
DQQzero2 小时前
0.16 元/秒的短剧流水线:即梦短剧工作室把 AI 视频生产改成了什么样
人工智能·ai·aigc·视频生成