03.智能家居端侧 AI 架构


关键点:

  • 唤醒词(Wake Word):OpenWakeWord,说"你好管家"才启动识别,避免误触发
  • VAD(语音端点检测):WebRTC VAD,检测起止点,喂给本地ASR
  • 本地 ASR:sherpa-onnx
  • Qwen3-VL 意图解析,System Prompt 要求模型输出自然语言,转为可执行 JSON 指令,比如: {"device":"living_room_light", "action":"turn_on", "value":null}
  • 本地 TTS:sherpa-onnx-vits-zh-ll
  • mac-名字映射:把json里的device名字映射到MAC
  • 数据引擎:根据设备物模型内容+具体mac+目标action,封装出最终指令
  • RAG增强检索
  • 会话记忆
  1. 保留最近 N 轮对话上下文给 Qwen3-VL(messages = {"role":"user",...},...)
  2. 维护家庭设备状态缓存(人体存在传感器、环境温度)供模型参考做上下文推理
相关推荐
吴建旭 智宅焕12 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
吴建旭 智宅焕2 天前
智能家居全国交付中模块化计价架构的设计与实现:从一口价到可复核的计价模型
架构·智能家居·devops
天空'之城2 天前
016基于边缘计算的智能家居异常行为检测系统
毕业设计·智能家居·边缘计算·异常检测·esp 32
吴建旭 智宅焕4 天前
智能家居全国交付中B端客户固定成本转变动成本的架构设计与实现
智能家居
吴建旭 智宅焕5 天前
智能家居全国交付中B端需求路由系统的架构设计与实现:从流量变现到交付确定性匹配
智能家居
吴建旭 智宅焕6 天前
智能家居全国交付标准化架构的轻重分离设计:重勘测节点与轻执行流程的系统实现
架构·智能家居
吴建旭 智宅焕8 天前
智能家居全国交付中执行端能力跃迁的架构设计:从标准装调到交付专家的系统化路径
网络·网络协议·智能家居
吴建旭 智宅焕9 天前
智能家居B端客户路径诊断的系统架构设计与实现:背景采集、经验分层与交付确定性
系统架构·智能家居
吴建旭 智宅焕10 天前
智能家居全国交付中契约边界的系统架构设计与实现:前置条件锁定、非标作业分离与交付确定性
智能家居
吴建旭 智宅焕11 天前
智能家居全国交付中报价工具与交付基础设施的架构分离设计:接口化路径与交付确定性系统实现
架构·智能家居