前言
意图识别是智能 Agent、对话系统的入口核心模块,直接决定后续任务分发、工具调用是否正确。很多项目直接把所有用户请求丢给大模型做意图判断,会面临推理成本高、响应慢、高频场景幻觉、长尾场景识别不准等一系列问题。
本文介绍一套工业界成熟的三层漏斗式意图识别架构,搭配 OOD 拒识防护与持续迭代的数据飞轮,可以把核心意图 Top1 准确率稳定做到 94%~95%,同时将整体推理成本降低一个数量级,在准确率、响应速度、算力成本三者之间拿到最优解。
一、整体架构:三层漏斗串行过滤
整体采用分层流转的漏斗设计,请求从上到下依次校验,命中即直接输出结果,未命中才流转到下一层:
规则快速通道 → 微调小模型主分类 → 大模型语义兜底(附带 OOD 隐形守卫)
第一层:规则快速通道(Rule Fast Track)------ 零延迟、100% 准确的第一道防线
针对高频、格式固定 的指令使用正则、词典直接匹配拦截,典型例子如:打开XX功能、退出、转人工这类标准化指令。 核心优势:
- 零延迟响应:纯本地代码匹配,不调用任何模型推理,毫秒级返回;
- 百分百准确率:规则匹配命中就确定结果,不存在大模型幻觉风险;
- 极致节约算力:拦截大量简单流量,避免基础请求消耗后端大模型资源,是系统最省钱的防护屏障。
适合场景:固定关键词、标准化指令、高频基础操作。
第二层:微调小模型主分类(Fine-Tuned Small Model)------ 整套方案的性价比核心
经过规则层未命中的流量,进入 5B/7B 规模微调小模型做意图分类,是整个系统承载绝大多数流量的核心模块。
为什么选择微调小模型,而不是直接用大模型 + Few-Shot?
- 推理成本骤降:成本比通用大模型低一个数量级;业务分类知识直接 "内化" 到模型权重,不再需要冗长 Prompt、大量 Few-shot 样例,输入文本即可直接输出分类结果;
- 抑制幻觉,确定性更强:使用专属业务标注数据微调后,模型分类稳定性大幅提升,避免通用大模型无依据的猜测。
配套落地关键动作
- 意图体系精细化治理:对标签做重叠合并、易混淆意图拆分,从源头减少标签噪声;
- 上下文特征融合:带入历史对话状态,解决上下文歧义问题(例如 "再来一个",可以区分是再来一首歌还是再来一份餐);
- 置信度阈值把关:设置阈值(示例阈值 0.6),当模型预测置信度低于阈值时,不强行判定意图,直接流转至下层大模型兜底。
第三层:大模型语义兜底 & OOD 隐形守卫
只有规则、小模型均未命中,或者小模型置信度不足的请求,才会进入这一层,属于克制使用的终审安全网。
- 大模型语义兜底:专门处理长尾低频意图、强上下文复杂推理场景;同时作为新增意图冷启动通道,先用 Few-Shot 验证效果,积累足量数据后沉淀到小模型,降低长期成本。
- 隐形守卫:OOD 拒识模块(极易被忽略的关键模块) 单独训练二分类模型,优先判断用户请求是否属于当前业务服务范围。对于不在业务域内的请求,不强行归类到已有意图,使用友好话术引导用户重新描述,避免硬识别带来的错误,大幅改善用户体验。
二、持续提升:数据 - 评测闭环飞轮,稳步拉高识别准确率
三层漏斗架构上线只是起点,想要持续稳定提升准确率,必须搭建自动化迭代飞轮,杜绝垃圾数据带来的模型退化,整个闭环分为 4 个环节:
- 数据端强化 严格把控数据质量,拒绝脏数据 "进垃圾出";同时维护对话上下文状态,让意图识别具备跨轮记忆能力,解决多轮对话歧义问题。
- Badcase 定向增强 每日自动抽检线上识别错误样本,人工标注纠正;针对难识别的意图,使用同义词替换、回译改写等方式扩充样本,定向补强薄弱场景。
- 评测端金标准准入 不只关注整体 F1 指标,针对核心高频意图单独维护 "金标准" 测试集;模型每次迭代更新,必须全部通过金标准用例,才允许上线,防止迭代后核心场景效果下滑。
- 用户行为信号自动挖掘 自动采集用户反馈信号:比如用户连续重复提问、点击 "没帮助" 等行为,自动标记并抓取为 Badcase,当日纳入优化流程,把真实用户痛点快速反馈进迭代。
三、最佳实践总结
整套方案可以浓缩成四句话: ✅ 规则管确定性 :快速通道拦截高频固定指令,低延迟、高可靠; ✅ 微调小模型管性价比 :核心流量承载层,内化业务知识,控成本、压幻觉; ✅ 大模型管复杂兜底 :长尾、强推理场景兜底,搭配 OOD 拒识筑牢安全边界; ✅ 持续运转的数据飞轮:线上 Badcase + 标准化评测驱动迭代,稳步提升系统表现。
这套意图识别方案和前文的 Agent 四层可靠性架构可以无缝打通:识别出用户意图后,再交由主控 Agent 做任务拆解、子 Agent 分发、结果汇总校验,构成完整生产级 Agent 链路。
四、适用场景
企业内部 Agent、智能客服、业务指令 Agent、工具调用型大模型应用,尤其适合高并发、对成本敏感、同时要求低错误率的线上业务。