
关键点:
- 唤醒词(Wake Word):OpenWakeWord,说"你好管家"才启动识别,避免误触发
- VAD(语音端点检测):WebRTC VAD,检测起止点,喂给本地ASR
- 本地 ASR:sherpa-onnx
- Qwen3-VL 意图解析,System Prompt 要求模型输出自然语言,转为可执行 JSON 指令,比如: {"device":"living_room_light", "action":"turn_on", "value":null}
- 本地 TTS:sherpa-onnx-vits-zh-ll
- mac-名字映射:把json里的device名字映射到MAC
- 数据引擎:根据设备物模型内容+具体mac+目标action,封装出最终指令
- RAG增强检索
- 会话记忆
- 保留最近 N 轮对话上下文给 Qwen3-VL(messages = {"role":"user",...},...)
- 维护家庭设备状态缓存(人体存在传感器、环境温度)供模型参考做上下文推理