《OmniMeetProTrack 全维会议链智能追录系统 软件设计文档》

撰稿人:wjz

一、引言

1.1 目的

本软件设计文档详细描述了 OmniMeetProTrack 全维会议链智能追录系统的架构、组件、模块设计及实现细节,旨在为开发人员、利益相关者和维护人员提供系统的全面设计蓝图。本文档基于需求定义文档,确保系统实现满足企业对高效、智能会议管理的需求,同时支持未来功能扩展和维护。

1.2 范围

OmniMeetProTrack 是一款面向企业线上会议和会议管理的智能化、多模态会议系统,整合视频会议、AI 助手、知识库管理、会议签到、数据分析、知识图谱构建和文生图等功能。系统通过先进技术(如 DeepSeek-R1、CLIP、ASR、LangChain)实现会议全链条的智能化管理,提升会议效率,沉淀知识资产,为企业决策提供支持。

1.3 定义与缩写

  • OmniMeetProTrack:全维会议链智能追录系统。
  • WebRTC:Web 实时通信技术,用于音视频通话。
  • ASR:自动语音识别,用于语音转文字。
  • CLIP:视觉识别技术,用于处理图片和 PPT。
  • RAG:检索增强生成,用于业务相关问答。
  • RDF:资源描述框架,用于知识图谱构建。

二、系统概述

2.1 系统目标

  • 提供稳定、流畅的视频会议功能,支持多设备接入。
  • 实现智能化的会议管理和 AI 辅助,提升会议效率。
  • 构建多模态知识库,沉淀会议数据并支持深度分析。
  • 确保系统高性能、高可靠性和安全性,满足企业级需求。
  • 支持模块化扩展,适应未来功能和性能需求。

2.2 系统架构

OmniMeetProTrack 采用前后端分离的微服务架构,分为以下核心层:

  • 前端层:基于 Vue.js,提供用户界面和交互。
  • 后端层:基于 Spring Boot,处理业务逻辑和数据交互。
  • 模型层:基于 FastAPI 和 LangChain,调用 AI 模型(DeepSeek-R1 等)。
  • 数据层:MongoDB 存储会话和消息,Neo4j 存储知识图谱,Milvus 管理向量数据。
  • 外部服务:集成百度地图 API(签到定位)、人脸识别服务等。

2.3 技术栈

  • 前端:Vue.js、WebRTC、WebSocket、Marked(Markdown 解析)、ECharts(数据可视化)。
  • 后端:Spring Boot、Spring Data JPA、MongoRepository。
  • 模型端:FastAPI、LangChain、DeepSeek-R1、Whisper(ASR)、CLIP。
  • 数据库:MongoDB(Motor 异步驱动)、Neo4j、Milvus(向量数据库)。
  • 其他:RecordRTC(音频录制)、百度地图 API、人脸识别 SDK。

三、系统设计

3.1 模块划分

系统功能模块基于需求分为以下九个子系统:

  1. 会议系统管理
  2. 视频会议
  3. 会议 AI 助手
  4. 日常 AI 助手
  5. 知识库管理
  6. 会议签到
  7. 统计信息
  8. 智能解析与知识图谱构建
  9. 文生图

3.2 模块设计

3.2.1 会议系统管理
  • 功能
    • 会议记录增删改查(名称、时间、地点、议程、决议)。
    • 用户账号管理(添加、删除、修改,角色包括创建者、参会者、管理员)。
  • 设计
    • 前端:Vue.js 组件实现会议列表和用户管理页面,支持表单编辑和权限选择。
    • 后端:Spring Boot 提供 RESTful API,基于 Spring Security 实现权限控制。
    • 数据存储 :MongoDB 存储会议记录和用户信息,表结构包括 MeetingUser
  • 流程
    1. 用户登录后访问会议管理页面。
    2. 创建/编辑会议,提交数据至后端 API。
    3. 后端验证权限,更新 MongoDB 数据。
3.2.2 视频会议
  • 功能
    • 多设备音视频通话。
    • 弹幕聊天。
    • 录屏录音,生成带时间戳记录。
    • 投屏共享。
  • 设计
    • 前端
      • 使用 WebRTC(navigator.mediaDevices.getUserMedia)获取音视频流,RTCPeerConnection 管理连接。
      • WebSocket 实现弹幕和信令传输。
      • RecordRTC 实现录屏录音。
      • Vue.js 组件展示参会者列表、控制面板(麦克风、摄像头)。
    • 后端
      • Spring Boot 提供 WebSocket 信令服务,处理 OFFER、ANSWER、ICE CANDIDATE。
      • 存储录制文件至本地文件系统,元数据存入 MongoDB。
    • 流程
      1. 用户通过按钮加入会议,前端建立 WebSocket 连接。
      2. WebRTC 协商音视频流,实时传输。
      3. 弹幕消息通过 WebSocket 广播。
      4. 录制完成后,文件上传至后端存储。
3.2.3 会议 AI 助手
  • 功能
    • 实时问答(基于会议内容)。
    • 时间感知(监测与会者状态,调整安排)。
    • 问题感知(识别疑问和争议)。
  • Design
    • 前端:Vue.js 弹窗展示 AI 助手对话,支持流式输出。
    • 模型端
      • FastAPI 调用 DeepSeek-R1 API,LangChain 构造提示。
      • 使用摄像头和麦克风数据(WebRTC 流)分析与会者状态。
    • 后端:Spring Boot 协调前端请求和模型端响应。
    • 流程
      1. 用户点击 AI 助手按钮,输入问题。
      2. 模型端结合会议上下文生成流式回答。
      3. AI 分析与会者状态,推送提醒(如"某人未发言")。
3.2.4 日常 AI 助手
  • 功能
    • 个性化问答(RAG 增强)。
    • 一键部署会议。
    • 流式回答,上下文感知。
  • Design
    • 前端:Vue.js 对话界面,Marked 解析 Markdown 输出。
    • 模型端:FastAPI + LangChain,调用 DeepSeek-R1,RAG 从 Milvus 检索知识库。
    • 后端:Spring Boot 管理会话,MongoDB 存储历史消息。
    • 流程
      1. 用户输入问题,前端发送会话 ID 和问题。
      2. 模型端查询历史消息,结合 RAG 生成回答。
      3. 一键部署会议时,AI 分析日程,选择合适时间。
3.2.5 知识库管理
  • 功能
    • 上传 docx、pdf、txt 至 Milvus。
    • 统计知识库数据(数量、片段)。
  • Design
    • 前端:Vue.js 文件上传组件,ECharts 展示统计图表。
    • 后端:Spring Boot 处理文件上传,调用 Milvus API 存储向量。
    • 数据存储:Milvus 存储文档向量,MongoDB 存储元数据。
    • 流程
      1. 用户上传文档,前端校验格式。
      2. 后端提取文本,生成向量存入 Milvus。
      3. 统计数据通过 API 返回前端展示。
3.2.6 会议签到
  • 功能
    • 发起签到,百度地图 API 定位。
    • 人脸识别验证身份。
  • Design
    • 前端:Vue.js 签到页面,集成百度地图 SDK 和摄像头接口。
    • 后端:Spring Boot 调用人脸识别服务,验证用户身份。
    • 流程
      1. 用户点击签到,获取定位信息。
      2. 摄像头捕获人脸,发送至后端比对。
      3. 签到结果存入 MongoDB。
3.2.7 统计信息
  • 功能
    • 统计会议时长、时间段、参会人数。
    • 可视化图表展示。
  • Design
    • 前端:ECharts 绘制柱状图、折线图。
    • 后端:Spring Boot 聚合 MongoDB 数据,提供统计 API。
    • 流程
      1. 用户访问统计页面,前端请求数据。
      2. 后端查询 MongoDB,返回统计结果。
      3. 前端渲染图表。
3.2.8 智能解析与知识图谱构建
  • 功能
    • CLIP 处理视觉信息。
    • ASR 转写音频。
    • DeepSeek 解析文本,生成总结。
    • 构建 RDF 三元组,存入 Neo4j。
  • Design
    • 模型端
      • Whisper 实现实时语音转写。
      • CLIP 提取 PPT 和图片特征。
      • DeepSeek 解析文本,豆包模型提取结构化指标。
    • 后端:Spring Boot 协调数据处理,Neo4j 存储三元组。
    • 流程
      1. 会议音频通过 ASR 转写为文本。
      2. CLIP 处理视觉内容,DeepSeek 解析文本。
      3. 豆包模型生成总结,RDF 三元组存入 Neo4j。
3.2.9 文生图
  • 功能
    • 生成会议思维导图或项目架构图。
  • Design
    • 前端:Vue.js 展示生成的图片。
    • 模型端:FastAPI 调用文生图模型(如 Stable Diffusion)。
    • 流程
      1. 用户输入会议要点,模型生成图片。
      2. 图片通过 API 返回前端展示。

3.3 数据设计

  • MongoDB
    • Meeting:会议 ID、名称、时间、议程、参会者。
    • User:用户 ID、姓名、角色、权限。
    • Session:会话 ID、创建时间、消息列表。
    • QAMessage:消息 ID、会话 ID、内容、时间戳。
  • Neo4j
    • 节点:任务、责任人、决策。
    • 关系:RDF 三元组(如 <任务, 负责人, 姓名>)。
  • Milvus
    • 向量:文档嵌入向量。
    • 元数据:文档 ID、类型、上传时间。

3.4 接口设计

  • RESTful API
    • /api/meetings:会议增删改查。
    • /api/users:用户管理。
    • /api/sessions:会话管理。
  • WebSocket
    • /ws/meeting:信令和弹幕传输。
  • 模型端 API
    • /api/ai/ask:AI 问答。
    • /api/ai/summarize:会议总结。

四、非功能设计

4.1 性能

  • 响应时间:功能操作 < 3 秒,视频延迟 < 300 毫秒。
  • 吞吐量:支持 10 人以内同时视频会议。
  • 优化:使用异步任务队列(Celery)处理音频转写,缓存热点数据。

4.2 可靠性

  • 备份:MongoDB 长时间存储 。
  • 故障转移:部署多节点,Nginx 负载均衡。
  • 日志:使用 SLF4J 记录操作和错误日志。

4.3 安全性

  • 加密:HTTPS 传输,AES 加密存储数据。
  • 认证:JWT 令牌 + OAuth2 实现多因素认证。
  • 审计:记录用户操作,存储至 MongoDB。

4.4 兼容性

  • 浏览器:支持 Chrome、Firefox、Edge、Safari。
  • 设备:兼容 PC、手机、平板。
  • 系统:运行于 Windows Server、Linux。

4.5 可扩展性

  • 模块化:各功能模块解耦,独立部署。
  • 性能扩展:支持 Kubernetes 集群部署。
  • 集成:提供 OpenAPI 规范,方便第三方系统对接。

五、实现细节

5.1 WebRTC 与 WebSocket

  • WebRTC 实现音视频通话,优化多设备连接。
  • WebSocket 每 10 秒 ping,防止断开。
  • 使用 beforeEnter 路由守卫确保连接建立。

5.2 DeepSeek-R1 集成

  • 基于 LangChain 实现流式输出,参数:temperature=0.2max_tokens=2048
  • MongoDB 存储历史消息,支持上下文感知。

5.3 ASR 与 CLIP

  • Whisper 实时转写音频,生成带时间戳文本。
  • CLIP 提取视觉特征,辅助知识图谱构建。

六、挑战与解决方案

  • JDK 冲突:统一 JDK 版本,调整依赖。
  • 接口兼容性:制定统一 API 规范,添加适配层。
  • 数据库冲突:设计统一 schema,迁移数据。
  • 多设备入会:优化防火墙,增强 WebSocket 稳定性。
相关推荐
MonkeyKing_sunyuhua5 小时前
6.5 行业特定应用:金融、医疗、制造等行业的定制化解决方案
人工智能·agent
god_Zeo5 小时前
从头训练小模型: 4 lora 微调
人工智能·机器学习
开心的AI频道6 小时前
GPT-4o 图像生成与八个示例指南
人工智能
%d%d26 小时前
RuntimeError: CUDA error: __global__ function call is not configured
人工智能·深度学习·机器学习
阿维的博客日记6 小时前
ϵ-prediction和z0-prediction是什么意思
人工智能·深度学习·机器学习
学术交流7 小时前
2025年软件工程与数据挖掘国际会议(SEDM 2025)
论文阅读·人工智能·数据挖掘·软件工程·论文笔记
还是大剑师兰特7 小时前
vue源代码采用的设计模式分解
javascript·vue.js·设计模式
生信漫谈7 小时前
Rice Science∣武汉大学水稻研究团队发现水稻壁相关激酶OsWAKg16和OsWAKg52同时调控水稻抗病性和产量
人工智能·学习方法
TO ENFJ8 小时前
day 10 机器学习建模与评估
人工智能·机器学习
高效匠人8 小时前
文章五《卷积神经网络(CNN)与图像处理》
图像处理·人工智能·python·cnn