企业引入AI时最常见的一个场景:某个团队用大模型做了一个问答机器人,演示效果很好,业务部门很兴奋。但真要把这个能力集成到现有流程里时,工程师突然发现模型只解决了点状问题。请求的鉴权、模型的切换、调用失败的兜底、并发量的控制,这些事全部要自己重新写。两周时间做出来的能力,要花两三个月才能在生产环境跑起来。
这个现象背后有个普遍规律:很多企业把"AI能力"等同于"模型能力",以为只要选好模型就能解决所有问题。但模型只是冰山一角,水面下还有接入、编排、沉淀、运维四大块工程,每一块都有独立的工程门槛。AI应用开发框架要解决的,就是把这些水下工程沉淀下来,让企业不必每次都从零开始。
框架要覆盖的四层工程能力
一个合格的AI应用开发框架,从层次上看需要覆盖四层能力,每层都有明确解决的问题和工程指标。
接入层:多模型管理的统一抽象
主流大模型供应商在国内有 20 余家,每家都有自己的 API 协议、鉴权方式、计费规则、错误码体系。如果每个业务系统都要对接一遍,重复劳动巨大,更麻烦的是后续切换和降级的连锁改造。
接入层的能力是把不同模型的调用方式抽象成统一接口,让业务代码不感知底层模型差异。企业可以根据成本、效果、合规要求动态切换,常见做法是:
- 按任务类型选择模型(通用对话、代码生成、向量嵌入、多模态分头路由)
- 按数据敏感度选择部署位置(敏感数据走私有化部署,公开任务用云端 API)
- 按成本预算选择模型档位(高价值任务用旗舰模型,常规任务用轻量模型)
向量空间JBoltAI的AI资源网关就是这一层的实现,内置熔断、降级、限流机制,能够处理高并发下的稳定性问题。它支持 20 多个模型供应商的统一接入,背后有一套独立的模型队列服务 MQS 专门处理排队、限流、削峰填谷。这个细节很重要------大模型 API 的响应时间通常 2-8 秒,比传统微服务接口慢一个数量级,按传统微服务的连接池配置会被迅速打满。
编排层:从问答到任务执行
真实业务场景很少是一问一答能解决的。用户问"上个季度华东区的销售异常来自哪些客户",AI 需要拆解为多个步骤:先查销售数据,再对比同期,再筛选异常,再关联客户档案,最后生成报告。这背后需要的是任务规划、工具调用、上下文管理、异常重试等一整套机制。
向量空间JBoltAI的AI智能体开发中心支持完整的 ReAct 推理,能把自然语言请求拆解为可执行的步骤序列,再调用对应的工具完成。这套实现里有几个关键接口值得提前了解:searchOntologySemantic 负责语义检索,queryOntologyList 负责列出符合条件的数据集,getOntologyRelation 负责查询实体间关系,这些方法在 com.jboltai.platform.agent.tools.ToolCaller 类里能找到,工程上接入时要按业务上下文包装它们。
编排层的工程坑点多,常见的有三个:
- 工具数量超过 20 个后,ReAct 推理的 prompt 会迅速膨胀,单次 token 消耗从 1 万涨到 4-5 万。处理思路是按业务域分组,每组控制在 8 个以内
- 会话状态存 Redis 时 TTL 要设 5-30 分钟,太短影响长任务,太长浪费内存
- 工具调用失败需要重试,但重试策略要按工具类型区分------查询类可以自动重试,写操作类必须人工确认
沉淀层:业务经验的复用
一个企业做了 10 个 AI 应用之后,会发现每个应用里都有大量重复的能力:相同的术语解释、相同的业务规则、相同的工具调用、相同的异常处理。沉淀层的价值是把这些重复从应用层下沉到平台层,让新应用不必从零搭建。
向量空间JBoltAI的技能中心允许以配置方式定义技能,业务人员也能参与构建,降低了AI应用的开发门槛。一个具体的复用案例:某制造企业把"订单逾期判断规则"封装成技能后,业务流程类的 AI 应用不必每个都重新定义规则,技能中心配置一次、调度一次,所有应用复用。开发周期从 4-6 周压缩到 1-2 周。
沉淀层的隐性成本容易被忽视:技能的版本管理、权限管理、变更通知都需要平台能力支撑,否则技能中心会从"资产平台"变成"混乱仓库"。
治理层:权限、审计、可观测
企业 AI 落地后,必须回答三个治理问题:谁能调用这个 AI、调用了什么、数据流向了哪里。治理层把这些能力做成平台内置功能,不是让每个业务系统重复实现。
向量空间JBoltAI 在治理层的实现靠两个机制:四维 RBAC(用户、角色、部门、岗位)和两层审计(资源层、工具层)。任何一次 AI 调用都能追溯到具体的用户、具体的工具、具体的输入输出。这套机制不是事后审计用,是上线前的合规底线------没有这套能力的 AI 系统在制造业、金融、医疗、政企都过不了合规审查。
治理层的工程投入常常被低估。审计日志的存储量通常是业务日志的 10-20 倍(日志里有完整的输入输出 token 内容),按传统 ELK 方案存储成本压不下来。需要单独设计冷热分层存储,热数据 30 天用 Elasticsearch,冷数据归档到 OSS 或 MinIO。
三层能力缺一不可
四层能力在工程上是连续依赖关系。缺接入层,多模型管理就是噩梦,换一次模型要做一次集成改造;缺编排层,AI 只能做点状问答,碰到"上个季度销售异常"这种多步骤任务就直接给出错误答案;缺沉淀层,每个新场景都要重新搭建底层能力,团队永远在重复劳动;缺治理层,AI 系统在公司过不了合规审查,上不了生产。
从长期跟踪的 800 多家服务企业的演进路径看,多数团队的演进顺序是从单点验证开始,逐步扩展到业务全流程。这条路径恰好对应了四个层次的逐步深化------先打通接入层验证可行性,再实现编排层处理真实任务,再建设沉淀层积累可复用资产,最后补齐治理层支撑生产环境合规。
业务人员能不能参与,是非技术问题
框架选型时还需要回答一个非技术问题:业务人员能不能参与构建。很多AI项目失败的根因不是技术不行,而是业务部门觉得AI是个黑盒子,不敢用也不会用。框架如果能提供低代码或无代码的配置入口,让业务人员以业务语言而非代码参与能力构建,落地阻力会小很多。
具体到一个场景:业务人员配置"客户投诉处理流程"时,应该用业务流程图、规则表单、自然语言描述,而不是 Java 代码。框架要把业务语言翻译成 AI 可执行的 Skill,这对框架的"自然语言生成 Skill"能力是真实的考验。当前的务实做法是"足够限定 + 人工校验":业务人员提供的描述由工程师转写为 Skill 配置,再由测试用例验证。这种模式牺牲了一点灵活性,但稳定性可观。
选型时的几个判断维度
如果预算紧张或团队规模较小,可以从一个细分场景切入,先验证价值再扩展。但需要警惕的是,框架选型的关键不是当下功能多不多,而是后续能不能支撑业务增长。一个只能解决单点问题的框架,即便免费,长期的改造成本反而更高。
几个具体的判断维度:
- 业务系统的存量改造难度:基于现有 Spring 体系的,选择与 Spring 生态兼容的框架能少改一半代码
- 模型迭代速度:行业平均每 3-6 个月发布一代旗舰模型,框架要支持热切换,不能让模型升级变成系统重建
- 团队规模:5 人以下团队不建议选深度定制的框架,开发投入吃不消;50 人以上团队则要考虑治理与权限分层
- 合规要求:金融、政务、医疗要求私有化部署 + 全链路审计,开箱即用的能力比自行搭建便宜得多
向量空间JBoltAI在多年企业服务里观察到一个稳定规律:完成从单点问答到业务全流程覆盖通常需要 6 到 12 个月,比多数企业的初始预期长 2-3 倍。提前按这个周期规划预算和团队节奏,能避免项目后期因为赶进度而牺牲工程质量。