基于 Ollama DeepSeek、Dify RAG 和 Fay 框架的高考咨询 AI 交互系统
一、项目概述
本项目旨在构建一个智能化的高考咨询助手，结合 AI 大模型、知识增强（RAG）和 3D 数字人交互，为用户提供智能高考问答、志愿填报建议、政策解读等功能。系统的核心架构如下：
- AI 处理层：基于 Ollama DeepSeek 和 Dify RAG 提供智能问答能力。
- 前端交互层：Fay 作为中间件，负责用户界面、数据传输、交互逻辑等。
- 3D 数字人：从 GitHub 选择开源项目部署，提供可视化的数字人形象，并进行语音合成和表情联动。
二、系统架构
整体架构可分为以下几个部分：
1. AI 处理层
-
Ollama DeepSeek 大模型
- 负责高考问答、文本处理、推荐生成等任务。
- 结合 Dify 训练微调，使模型更适应高考咨询领域。
-
Dify RAG（检索增强生成）
- 通过知识库增强 AI 的回答能力，提高高考政策、招生信息、历年数据的准确性。
- 可定期更新数据，确保最新的政策、招生简章等信息。
-
后端 API（Spring Boot / FastAPI）
- 统一封装 AI 服务，提供 API 供前端调用。
- 处理用户会话管理、日志记录、缓存优化等功能。
- (这部分应该用不到)
2. Fay 交互层
-
Fay 框架（作为中间件）
-
Fay 不直接提供 3D 数字人功能，而是作为前端界面，连接 AI 和数字人。
-
Fay 处理：
- 用户输入（文本/语音）
- 调用后端 AI API 获取回答
- 将 AI 回复内容传递给数字人
-
Fay 作为界面管理工具，可以负责用户交互（输入框、语音按钮等）。
-
3. 3D 数字人
-
开源数字人项目（GitHub 选择）
-
3D 数字人用于展示 AI 生成的回答。
-
结合语音合成（TTS），实现 AI 语音播报。
-
结合表情动画，实现自然的交互体验。
-
可能的开源选项：
- Avatar SDK（开源 3D 角色）
- DeepFaceLive（实现面部表情跟随）
- VITS / Edge TTS（实现语音合成）
-
-
3D 数字人交互逻辑
- Fay 接收到 AI 返回的文本后，将其传递给 3D 数字人模块。
- 3D 数字人使用 TTS 生成语音，同时匹配表情和口型动画。
- 用户可通过 Fay 界面继续输入新问题，形成自然的问答互动。
三、核心功能
1. 高考智能问答
- 招生政策：根据最新的政策文件，提供准确的招生信息。
- 院校介绍：包括学校概况、专业设置、历年分数线等。
- 志愿填报建议：基于用户成绩、兴趣、地域偏好，智能推荐学校。
- 高考常见问题：解答考生和家长关注的问题，如录取规则、调剂政策等。
2. 智能推荐
- 用户输入个人成绩、兴趣、目标地区后，AI 分析并给出志愿填报建议。
- 结合 Dify RAG，匹配最相关的学校和专业信息。
3. 3D 互动
- 3D 数字人用语音和动画增强交互体验。
- Fay 作为 UI 交互层，让用户可选择文字或语音输入。
4. 知识库管理
- 允许手动或定期更新高考相关数据，确保信息实时准确。
四、技术选型(大多数技术不需要掌握,因为直接拉的github项目,但写项目书要用到(ai辅组))
| 组件 | 技术/工具 |
|---|---|
| 大模型 | Ollama DeepSeek |
| 知识增强 | Dify RAG |
| 前端 UI | Fay（作为中间件） |
| 3D 数字人 | GitHub 开源项目（待选，如 Avatar SDK、DeepFaceLive） |
| 语音合成 | VITS / Edge TTS |
| 后端 API | Spring Boot / FastAPI |
| 数据存储 | PostgreSQL / MongoDB |
| 实时通讯 | WebSocket / gRPC |
五、实施步骤
1. AI 模型训练和部署
- 数据准备：收集高考政策、院校数据、招生简章等资料，构建知识库。
- Dify RAG 训练：增强模型的知识检索能力，使其能回答高考相关问题。
- 模型微调：基于 Ollama DeepSeek 进行特定领域优化，提高问答准确度。
- API 部署：将训练好的模型封装为 API，供前端调用。
2. 选择并部署 3D 数字人
- 从 GitHub 选择合适的开源项目，如 Avatar SDK、DeepFaceLive 等。
- 集成 TTS 语音合成，使 AI 回复的文本能被 3D 数字人朗读。
- 优化表情和动画匹配，提升交互体验。
3. 搭建 Fay 前端
-
Fay 作为 UI 层，负责：
- 用户输入（文本/语音）
- 调用 AI API
- 显示 AI 生成的回答
- 传递数据给 3D 数字人
4. 系统优化
- 性能优化：通过缓存、数据库索引等技术提高响应速度。
- 交互优化：调整 UI/UX 使其更直观易用。
六、预期成果
-
智能高考咨询助手
- 可回答高考相关问题，并提供个性化志愿填报建议。
-
3D 数字人交互
- 提供拟人化的 AI 交互体验，使咨询更生动有趣。
-
模块化架构
- Fay 作为中间件，AI 和 3D 数字人解耦，易于扩展和维护。
七、未来扩展方向
-
多模态交互
- 增加手势、表情识别，提高数字人的交互性。
-
AI 学习能力
- 让 AI 根据用户反馈优化回答，提高问答质量。
-
更多数据源
- 引入更丰富的高考信息，如实时招生公告、学长学姐经验分享等。