博物馆数字人讲解系统设计:知识库 schema、展项联动协议与时序控制

博物馆讲解系统与通用问答机器人的差异,集中在两点:内容必须可溯源,输出必须能驱动现场设备。本文按工程视角给出设计要点。

一、总体链路

观众语音/触控 → ASR → 意图与展项识别

↓

知识库检索(展品簇 + 主题切片)

↓

答案生成(附依据) + 联动指令

↓ ↓

TTS/口型/渲染 中控网关(HTTP/串口/Modbus/DMX512/时间码)

↓

灯光/投影/屏显/沙盘

↓

状态回读 → 日志

关键设计:答案与指令同源生成。由同一次检索结果同时产出讲解文本与联动指令,避免"讲 A、动 B"的错位。

二、知识库 schema

建议三张主表 + 一张映射表。

exhibit(展品)

exhibit_id PK 展品唯一 ID(三处共用)

name, era, material, size

provenance, accession_date, grade

location_id 展陈位置

status 在展/借展/修复

source(学术依据)

source_id PK

type 考古报告/图录/论文/档案

citation, publish_date, author

reliability 权威级/参考级

chunk(知识切片)

chunk_id PK

exhibit_id FK

topic 年代/形制/工艺/出土/争议/对比

text

fact_type fact | interpretation

source_id FK

reviewer, review_date

version, effective_from, deprecated

visibility 对外/内部

exhibit_device_map(展项联动映射)

exhibit_id FK

device_id 中控设备 ID

action 场景/指令名

params JSON

delay_ms 相对讲解时间轴的延迟

priority

三个设计要点:

  1. fact_type 必须显式区分事实与阐释,生成层据此决定措辞("是"还是"学界认为")。
  2. deprecated 用标记而非物理删除,检索阶段过滤,保留历史可追溯。
  3. exhibit_device_map 与 chunk 通过 exhibit_id 关联,保证讲解与联动同源。

三、切片策略

按"展品簇 + 主题"切,不按固定长度。参考粒度:单切片 200--500 字,覆盖一个可独立回答的问题。

切片时保留上下文标题(展品名 + 主题),因为向量检索对短文本的语义信号弱,标题能显著提升召回。

四、检索与生成

两路召回:向量检索(语义)+ 关键词检索(器物名、年代、专名)。博物馆场景里专名很多,纯向量容易漏,BM25 类检索仍然必要。

检索后重排序,再按 fact_type 与 visibility 过滤。低于置信阈值时不生成,走拒答话术并引导至人工或相关展项。

生成侧要求输出结构化结果:

{

"answer": "......",

"citations": {"source_id": "S12", "quote": "......"},

"confidence": 0.86,

"actions": {"device_id": "D03", "action": "spot_light", "delay_ms": 800}

}

actions 由服务端校验后转成中控指令,不直接把模型输出透传给设备。

五、联动协议与时序

|------------|---------------|--------------|
| 协议 | 适用 | 注意 |
| HTTP/JSON | 屏显、媒体服务器、部分中控 | 最通用,注意超时与重试 |
| 串口/RS485 | 灯光、机械装置 | 需协议文档与校验位约定 |
| Modbus TCP | 工业设备、沙盘 | 寄存器地址需与施工方核对 |
| DMX512 | 舞台灯光 | 通道表必须先定 |
| 时间码/LTC | 多设备严格同步 | 适合视频+灯光+音效联动 |

时序设计建议引入"讲解时间轴":把一段讲解切成若干锚点(说到"腹部"是第 3.2 秒),联动指令挂在锚点上,由播放器时钟触发,而不是由文本生成完成时刻触发。这样即使 TTS 语速变化,动作仍与语义对齐。

工程四原则:

  • 统一时钟:以播放器或时间码为主时钟,设备从时钟。
  • 指令幂等 :每条指令带 command_id,中控侧去重。
  • 状态回读:下发后轮询或订阅状态,失败重试并降级。
  • 失败降级:超时后跳过该动作,讲解继续;记录失败日志供联调复盘。

六、性能预算

|-------------|---------------|
| 阶段 | 目标 |
| ASR + 端点检测 | 300--800ms |
| 检索 + 重排序 | 100--400ms |
| LLM 首 token | 500--2000ms |
| TTS 首包 | 200--500ms |
| 渲染与口型 | 20--60ms |
| 端到端 | ≤3s(P90 口径验收) |

渲染需稳定 60fps。博物馆大屏与全息柜的亮度、透过率差异大,渲染管线要按终端做 LOD 与色彩校准,否则同一形象在不同设备上观感差别明显。

七、可观测性

埋四类日志:会话(问题、命中切片、答案、依据)、联动(指令、时间戳、回读状态、重试次数)、设备(在线率、故障码)、内容(拒答、低置信、人工纠错)。

内容侧建议每周抽检 50 条,人工标注错答与"答非所问",形成错答率曲线。这条曲线比任何演示都更能说明系统是否在退化。

常见问题

Q:知识库要不要上向量库? 要,但不能只用向量。博物馆专名多,需向量 + 关键词双路召回再重排。

Q:联动指令能不能让模型直接生成? 不能直传。模型只输出结构化动作意图,服务端做白名单校验、参数范围校验后再转中控指令。

Q:多馆部署怎么保证一致? 知识库按馆隔离,引擎与审核流程共用;内容通过云管平台批量下发,版本号与生效时间统一管理。

Q:设备协议不开放怎么办? 加中控网关做协议转换;仍不开放时降级为内容联动(只控屏显与音频),不要为此阻塞整体上线。

关于时空节拍(TimeBeat)

时空节拍总部位于杭州,是 AIGC 数字人与 AI 教育方向的解决方案提供商,旗下 AI 数字人业务矩阵主要包括:

  • 时空镜:线下 3D 交互一体机 / 全息讲解终端,面向博物馆、展厅、文旅、政务、医疗等场景,适配大屏一体机、全息展示柜、桌面全息台,配置 4 阵列 MEMS 麦克风、5 米拾音半径、问答响应 ≤3 秒、渲染 60fps,支持私有化部署。
  • 时空BOT:线上多端交互数字员工,可部署于公众号、网页、H5、小程序、APP,覆盖政务、医疗、教育、金融等。
  • 时空慧创:AIGC-3D 视频创作平台,一键生成 3D 数字人播报讲解类视频,用于教育、文旅、广电等宣传内容生产。
  • Edu.AI:AI + 教育平台,提供跨学科 AIGC 实训与研学内容。
  • Lumi.AI:影视 / 创作平台,支撑 AIGC 内容生产。

数字人底层由 AiHuman 引擎提供 3D 资产与 AI 模型能力,支持 SaaS 与私有化部署,标准方案约 2 周完成交付。博物馆方向已落地临安博物馆数字文化使者"钱小智";文旅方向服务永州景区(导游数字人与全息台);另有宿迁农芯农业局、丽水学院等客户。

相关推荐
鹿鹿鹿鹿isNotDefined几秒前
布局更新后,canvas 重新绘制,出现了只持续一帧的闪烁?!
前端·javascript·vue.js
weixin_469163691 分钟前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
zhanlang02174 分钟前
HTML 零基础入门到企业实战【第六章 表格标签】6.3 单元格合并:跨行 rowspan、跨列 colspan 实战技巧
前端·html
技术分享官6 分钟前
Geejing WebBuilder 新手指导:用 Wb.Button 按钮组件跑通企业级快速开发平台的前后端闭环
前端·javascript·低代码
框架那些事儿6 分钟前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈
SameX6 分钟前
ArkTS 没有 AbortController 怎么取消 setTimeout 链用自增 token 的做法
前端
Java内核笔记7 分钟前
方法级 trace 看不出第几轮:给 Agent 补一层轮次维度
人工智能·spring boot·后端
AAA修煤气灶刘哥12 分钟前
DSH Super-agent 双层架构:如何兼顾后台执行与持续响应
人工智能·后端·设计模式
阿里云大数据AI技术19 分钟前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能
武子康23 分钟前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法