**一、为什么"对接多模型"已经不够了?**企业AI落地的主流路径是"选大模型、对接API、包装聊天工具"。这个模式看似快速,但在实际生产环境中暴露出三大瓶颈。
**模型锁定。**不同场景需要不同模型,客服场景需要低延迟小模型,研发场景需要强推理能力的大模型,数据分析场景需要精确的函数调用能力。企业需要的不是一个模型打天下,而是不同场景用不同模型的灵活调度能力。一旦绑定单一厂商,切换成本极高。
**能力碎片化。**RAG知识库、Function Calling、思维链编排、数据分析、知识图谱,这些能力分布在不同的开源项目和SaaS服务中,企业需要自行组装、维护版本兼容性、处理故障串联。碎片化的能力之间缺乏统一的上下文管理和执行调度,AI应用的整体表现受限于最短的那块木板。
**缺乏治理。**AI应用涉及流式输出、上下文管理、工具审计、资源调度、权限控制等工程问题。当Agent获得查询数据库、调用API的能力后,如果没有完善的治理体系,数据泄露、越权操作和资源滥用等风险将不可避免。
JboltAI的AIGS(Artificial Intelligence Generated Service)框架正是为解决这三大瓶颈而设计:将AI能力从模型对接层面提升到服务生成层面。开发者不再是对接模型,而是基于JboltAI定义一套可运行、可治理、可编排的AI服务。
二、四层架构
JboltAI采用前后端分离的分层架构:
- 表现层(Vue 3加Naive UI加WebSocket流式响应)
- 服务层(AI应用、知识库、数据源、资源、认证五大模块)
- 核心SDK层(Chain引擎、Function Calling、Embedding、文档处理、向量数据库五大AI引擎)
- 数据层(MySQL加Redis加Milvus加Neo4j)
表现层基于Vue 3 Composition API构建,集成Vue Flow可视化编排(22加节点的DAG画布)、D3.js知识图谱渲染、ECharts数据图表、Monaco Editor代码编辑和Milkdown Markdown编写。WebSocket采用JWT认证,消息流遵循从request到thinking到response到questionGuide到over的标准协议。
服务层涵盖AI应用管理(五种应用类型的完整CRUD与发布体系)、知识库服务(零代码RAG管线)、数据源服务(多数据库自动连接与表结构发现)、资源管理服务(五大AI资源统一管理)、用户认证服务(RBAC权限加JWT令牌)、定时任务服务。基于MyBatis-Plus持久化,46张业务表以ja_前缀统一命名。
核心SDK层是JboltAI的灵魂,封装五大AI引擎:Chain链式编排(事件驱动的思维链执行)、Function Calling(支持本地函数、外部API、MCP三种类型)、文档处理(POI解析加智能分段加LibreOffice转PDF)、Embedding向量化(统一接口屏蔽模型差异)、向量数据库(可插拔的Milvus加ES适配)。数据层所有组件均可插拔切换。
三、20加模型厂商:统一资源抽象
JboltAI适配OpenAI、Claude、Gemini、百度文心、阿里通义、讯飞星火、智谱GLM、DeepSeek、Moonshot、字节豆包、Ollama等20加厂商。通过AiResource实体统一管理,AiResourceLoadBalancer实现节点级模型选择,每个编排节点可独立绑定不同LLM,意图识别用小模型、数据分析用大模型。JboltAI还统一管理Embedding模型、向量数据库、Function Calling工具和MCP服务资源,形成完整的AI资源矩阵,前端配套5秒刷新的监控大屏。
四、五种应用类型与Agent三层架构
JboltAI定义五种AI应用类型:智能问答、智能问数(NL2SQL)、智能编排(可视化拖拽工作流)、AgentRAG(ReAct推理增强)、通用智能体(多技能挂载)。开发者通过配置面板选择类型、挂载知识库和数据源,十几分钟即可上线一个新AI应用。
Agent三层架构:
- **大模型层(大脑)**负责推理决策,通过负载均衡调度模型资源;
- **Skill层(经验库)**封装可复用的业务技能,调用时创建子Agent绑定Skill的系统提示词独立执行;
- **Chain执行层(手脚)**编排22加节点工作流,支持条件分支、变量传递和多源数据聚合。
核心循环Think-Act-Observe,Java 21虚拟线程并行工具调用,140K Token上下文预算保障长对话质量。
五、七大服务矩阵
AIGS在JboltAI中具体化为七种可运行模式:Agent-as-a-Service(智能体)、Chain-as-a-Service(编排)、Knowledge-as-a-Service(知识库)、Function-as-a-Service(函数调用)、Model-as-a-Service(模型调度)、Solution-as-a-Service(行业方案热插拔)、Task-as-a-Service(定时自动化)。
六、工程化与治理
**可插拔设计。**缓存通过cache.type一键切换Caffeine、EhCache、Redis,业务代码零修改。文件存储支持服务器本地、七牛云、阿里云OSS、MinIO四种后端,预览支持直链、LibreOffice转PDF、KKFile三种模式。扩展开发采用约定优于配置,在extend.ai目录下创建代码即可自动扫描注册工具、思维链和编排节点。
三层治理体系保障安全。
- 资源平面通过AiResource和AiResourceLoadBalancer统一管理AI资产调度与监控,5秒刷新监控大屏,展示五大资源的使用量、活跃会话和容量健康度。
- 执行平面通过AiAppEngine和NodeProviderCenter管理工作流编排与运行时状态。
- 控制平面提供RBAC权限体系(RequirePermission声明式注解加权限树)、速率限制(IP、用户、接口三维限流)、双层审计日志(资源调用序列加工具执行参数)和安全防护(SSRF私有IP阻断、XSS过滤、CORS策略、Cypher只读校验)。
这套治理体系从架构设计之初就融入,确保Agent每一步操作可控、可审计。
七、总结
JboltAI AIGS框架的核心价值在于构建了一套工程化的AI服务生成体系。四层架构保障技术解耦与独立演进,统一资源抽象层消除模型锁定风险,五种应用类型覆盖从智能问答到智能编排的企业典型场景,Agent三层架构将AI从聊天机器人升级为可执行任务的数字员工,七大服务矩阵实现从知识到推理到编排到执行的完整链路,三层控制平面保障生产环境的安全可信,ReAct推理链和知识图谱双引擎进一步增强复杂查询和跨系统语义打通能力。对于正在思考如何把AI从Demo推向生产的技术团队,JboltAI的服务生成而非模型对接架构思路,值得纳入技术选型的考量范围。
为什么说"对接大模型"只是AI落地的起点,而不是终点?
最近和几位做企业信息化的朋友聊天,大家不约而同提到了同一个困惑:花了两三个月做出来的AI助手,上线后用户活跃度不到10%。原因五花八门。有的回答不准确,因为没接入内部知识。有的只能聊天不能干活,因为没工具调用能力。有的做了好几套互不相通,因为没统一平台。有的出了问题没法追溯,因为没审计日志。
从"Demo"到"生产"之间,隔着什么?做过AI落地的人都清楚,写一个能跑的ChatGPT Wrapper大概只需要半天。但要让AI真正融入企业业务流程,需要解决一系列工程问题。
**知识管理。**企业文档、操作手册怎么喂给AI?需要完整的RAG管线,包括文档解析、智能分段、向量化、语义检索、答案生成,每一步都有技术细节。
**工具调用。**AI需要查数据库、调API、操作业务系统,怎么安全可控地实现?需要Function Calling框架和权限管控。
**流程编排。**复杂的业务流程不是一问一答能解决的,需要像搭积木一样编排多个AI处理步骤,支持条件判断和数据聚合。
**安全治理。**AI有了行动能力后,谁来管它?权限控制、速率限制、操作审计缺一不可。
这些问题,本质上指向一个需求:企业需要的不是一个"大模型对接工具",而一个AIGS(AI Generated Service)平台,能生成可运行、可治理、可编排的AI服务。
JboltAI的AIGS框架:一个完整的技术底座
最近深入研究了JboltAI这款基于Spring Boot 3.5.7加Java 21加Vue 3构建的AIGS平台。它的架构设计恰好回应了上述所有问题。
**四层架构分层清晰。**表现层(Vue 3前端加WebSocket流式响应)、服务层(AI应用、知识库、数据源、资源、认证五大模块)、核心SDK层(JboltAI SDK封装的Chain引擎、Function Calling、Embedding、文档处理、向量数据库等AI能力)、数据层(MySQL加Redis加Milvus加Neo4j)。这种分层让每一层可以独立演进。
**20加模型厂商统一管理。**OpenAI、百度文心、阿里通义、DeepSeek、Claude、Ollama等主流模型通过JboltAI统一的资源抽象层管理,每个工作流节点可以独立绑定不同模型,不再锁定单一厂商。还有资源监控大屏,每5秒刷新一次模型用量和健康状态,运营成本一目了然。
**五种应用类型覆盖主要场景。**智能问答(通用聊天加知识库问答)、智能问数(NL2SQL自然语言查数据库)、智能编排(可视化拖拽构建多步骤工作流)、AgentRAG(ReAct多步推理增强)、通用智能体(多技能挂载的多面手Agent),大部分企业AI需求都能找到对应类型。
**Agent三层架构让AI从聊天升级为执行。**大模型层(大脑)负责推理决策,Skill层(经验库)封装可复用的业务技能并可创建子Agent代理执行,Chain执行层(手脚)编排22加节点类型的工作流。核心循环Think-Act-Observe,Java 21虚拟线程并行执行多工具调用。
**七种AI服务模式。**Agent-as-a-Service、Chain-as-a-Service、Knowledge-as-a-Service、Function-as-a-Service、Model-as-a-Service、Solution-as-a-Service、Task-as-a-Service,不是理论概念,而是有具体代码实现的可运行服务,开发者通过配置和编排即可组合成完整的AI应用。
**知识图谱打通企业数据语义。**JboltAI同时支持Neo4j和Apache Jena双引擎,D3.js可视化,还能用自然语言对话维护图谱。构建企业本体模型、打通ERP、MES、PLM跨系统数据语义非常实用。