Agent 模型怎么选?先把路由规则写进 Runtime

同一个 Agent 可能要做资料分类、长文总结、代码生成和结构化抽取。把所有请求都交给一个模型,配置简单,却很难解释成本、延迟和结果差异;让模型自己临场决定,又会把路由标准藏在一次次对话里。更稳的做法,是先把任务分成少数几类,再为每类写清首选模型、备用模型和不能接受的结果。

模型路由至少要回答四个问题:这是什么任务,输入有多大,结果需要多严格,首选模型不可用时能否切换。ZGI 的 Model Gateway 可以集中管理模型提供方、渠道、默认设置和 routing policies;这些公开能力能承接路由配置,但具体分类、阈值与切换条件仍需团队在目标环境中设计和验证。

先按任务写路由条件

路由规则应从任务目标开始,而不是从"哪个模型最强"开始。资料分类通常更看重稳定的标签格式;长文总结更看重上下文处理和引用边界;代码生成则需要明确语言、依赖和测试要求。可以为每类任务定义输入长度、输出格式、允许的工具范围和最低验收条件,再绑定首选模型。模型名称只是规则的一部分,输入与结果约束才决定它是否适合。

同一类任务也要保留边界。例如短文本抽取可以设置较小的上下文上限,超过上限就转到长上下文路线;结构化抽取要求返回固定字段,缺字段时进入复核;代码任务必须附带编译或检查步骤,不能只凭自然语言判断完成。这里的阈值是工程配置示例,需要用实际资料校准,不应写成某个模型的普遍性能结论。

路由条件最好能被人读懂。把"高质量模型"改成"合同条款总结,输入不超过某长度,输出必须含条款编号与风险理由",把"便宜模型"改成"标签分类,固定字段,失败后允许人工补录"。规则越接近业务产物,后续排查越容易定位是任务分类、模型选择还是结果验收出了问题。

备用模型要有出口,结果要回到同一套验收

备用模型不是简单的自动重试。首选模型超时、渠道不可用、输入超过限制或输出缺少字段时,切换动作应记录触发原因、原任务标识和实际使用的模型。若任务涉及对外发送、批量写入或高风险判断,切换后应暂停并交给人确认;低风险的内部草稿可以进入备用路线,但仍要经过同一份结构化校验。

切换前先区分可恢复问题和内容问题。渠道暂时不可用,可能适合换模型;输出字段缺失,则应先检查提示与 schema,不能反复调用同一条错误路线;输入本身不完整,应返回待补资料状态。不同出口要在工作流中分开,否则运行记录里只会出现"重试成功",却看不出结果为何变化。

验收不能只检查请求返回成功。对分类任务核对字段集合和允许值,对总结任务核对引用来源与覆盖范围,对代码任务核对语法、依赖和指定检查。验收失败时,保留模型响应、校验错误和路由版本,方便比较首选与备用路线的差异。ZGI 的 Workflow、结构化输出和运行状态/步骤/日志能力可以承接这类流程;文章中的规则仍是工程设计,不等于平台自动替团队完成判断。

上线前准备三组输入:边界清楚的正常任务、刚好超过输入限制的任务、首选模型不可用或返回缺字段的任务。逐组检查路由是否命中预期,备用模型是否只在规定条件下启用,结果是否进入正确的继续、补资料或人工复核出口。之后再根据真实失败记录调整规则,而不是先增加更多模型名称。

GitHub:https://github.com/zgiai/zgi

Gitee:https://gitee.com/zgiai/zgi

相关推荐
EatFan1 天前
「失控AI智能体」首遭FTC立案:英伟达Agent安全体系落地,AI智能体合规设计如何前置
大数据·人工智能·安全·ai智能体·mcp·agent安全·ftc
AI日报派送佬1 天前
2026年10月5日AI行业日报|中美模型差距缩至3%,物理AI百亿估值爆发,决策模型国产开源竞速
人工智能·openai·ai智能体·ai日报·物理ai·算力基建·ai商业化
ZGi.ai1 天前
Agent 定时任务总跑偏?先写清触发和补跑规则
workflow·定时任务·任务调度·ai智能体·企业ai·agentruntime
ZealSinger2 天前
LangChain4j用AiServices拼Tool
java·rag·ai智能体·langchain4j
ZGi.ai2 天前
Agent Runtime 需要预览模式吗?先生成变更清单,再提交真实动作
workflow·ai智能体·变更管理·企业ai·agentruntime·预览模式
AI日报派送佬3 天前
2026年10月2日AI行业日报|AI监管全面加码,算力基建革新,视觉推理技术突破
人工智能·ai智能体·大模型技术·ai日报·算力基建·ai科研·ai产业落地
坤盾科技3 天前
用坤擎智能体搭一套企业级 AI 中台
人工智能·大模型·企业数字化·ai智能体·坤擎智能体
可乐ea4 天前
vLLM 分离式推理实战指南:把 prefill 和 decode 拆开跑
ai智能体·vllm·kv缓存·大模型推理优化·分离式推理
AI日报派送佬4 天前
2026年9月30日AI行业日报|OpenAI DevDay连发25项更新,GPT-6.1 Sol&Dots智能体落地,全球AI监管收紧
人工智能·gpt·openai·ai智能体·大模型技术·人工智能前沿·ai监管