很多人以为 AI 客服就是"接个大模型 API"。
但真正做过工程的人都知道:
👉 AI 客服不是一个功能,而是一套系统 ,接下来的系列博文会围绕这AI 客服系统架构设计与实现进行创作,你也可以去 GitHub 上获取相配套的项目代码。
一、为什么"AI 客服 ≠ ChatBot"?
如果你只是做一个聊天机器人,你会这样写:
text
用户 → LLM API → 返回结果
看起来没问题,但在真实业务中,你很快会遇到:
- ❌ 答非所问
- ❌ 没有上下文记忆
- ❌ 不知道公司业务
- ❌ 响应慢
- ❌ 无法评估效果
👉 这时候你才会发现:
❗ AI 客服的本质是"系统工程",不是接口调用
二、AI 客服系统的正确分层
一个真正可用的 AI 客服系统,至少有 5 层:
🧠 1. 对话层(WebFlux Chat API)
负责:
- 流式响应
- SSE输出
- 高并发支持
👉 特点:
- 快
- 实时
- 无状态
🧩 2. 编排层(AI Service)
👉 整个系统的大脑
负责:
- 调度 Prompt
- 调度 Memory
- 调度 RAG
- 调度 Tools
👉 可以理解为:
"AI 系统的 Controller"
🧠 3. Prompt 层(Prompt Engineering)
负责:
- system prompt
- prompt模板
- prompt优化策略
👉 本质:
控制 AI 的"思考方式"
🧠 4. RAG 层(知识增强)
负责:
- 文档切分
- 向量检索
- 知识召回
👉 本质:
让 AI "知道你的业务"
🧠 5. Memory 层(记忆系统)
负责:
- 用户历史对话
- 用户画像
- 上下文增强
👉 本质:
让 AI "记住用户"
🧠 6. Tools 层(外部能力)
负责:
- 查订单
- 查物流
- 调内部系统
👉 本质:
让 AI "能做事"
三、系统核心流程(非常重要)
一次完整请求如下:
text
用户提问
↓
Chat API(WebFlux)
↓
AI Service 编排
↓
Prompt 构建
↓
Memory 注入上下文
↓
RAG 检索知识
↓
Tools 调用(如需要)
↓
LangChain4j LLM
↓
流式返回用户
四、技术选型说明(符合本项目)
🧱 后端架构
- Spring Boot 3.x
- Spring WebFlux(聊天)
- Spring MVC(后台)
🧠 AI 框架
- LangChain4j
🗄 数据存储(教学版)
- H2(数据库)
- 内存 Vector Store
- 内存 Cache
👉 生产替换:
| 组件 | 替换 |
|---|---|
| H2 | MySQL |
| 内存向量库 | Milvus |
| 内存缓存 | Redis |
🤖 模型
- LangChain4j OpenAI Demo Key
👉 后续可替换:
- GPT
- Claude
- DeepSeek
五、为什么要拆成多模块?
如果你把系统写成一个项目,会出现:
- ❌ 难扩展
- ❌ 难讲解
- ❌ 难演进
👉 所以本项目采用:
text
ai-core → 基础能力
ai-prompt → prompt工程
ai-rag → 知识系统
ai-memory → 记忆系统
ai-tools → 工具调用
ai-eval → 评估系统
ai-service → 编排层
ai-webflux → 对外接口
ai-admin → 管理后台
六、这个系统真正的价值
这个项目不是 demo,而是:
🚀 1. 一个"AI 客服进化路线图"
从:
text
LLM调用 → RAG → Memory → Tools → Eval
🚀 2. 一个 Java AI 工程模板
可以直接用于:
- 企业 AI 项目
- 客服系统
- 智能助手
🚀 3. 一个完整博客体系
你后续所有文章都基于它:
- 架构篇
- RAG篇
- Prompt篇
- 性能篇
- 评估篇
七、总结
如果用一句话概括这个系统:
👉 AI 客服不是"调用模型",而是"设计智能系统"
下一篇预告
👉 《LangChain4j 实战:用 Java 构建第一个可运行 AI 客服系统》