03.智能家居端侧 AI 架构


关键点:

  • 唤醒词(Wake Word):OpenWakeWord,说"你好管家"才启动识别,避免误触发
  • VAD(语音端点检测):WebRTC VAD,检测起止点,喂给本地ASR
  • 本地 ASR:sherpa-onnx
  • Qwen3-VL 意图解析,System Prompt 要求模型输出自然语言,转为可执行 JSON 指令,比如: {"device":"living_room_light", "action":"turn_on", "value":null}
  • 本地 TTS:sherpa-onnx-vits-zh-ll
  • mac-名字映射:把json里的device名字映射到MAC
  • 数据引擎:根据设备物模型内容+具体mac+目标action,封装出最终指令
  • RAG增强检索
  • 会话记忆
  1. 保留最近 N 轮对话上下文给 Qwen3-VL(messages = {"role":"user",...},...)
  2. 维护家庭设备状态缓存(人体存在传感器、环境温度)供模型参考做上下文推理
相关推荐
是枚小菜鸡儿吖31 分钟前
Home Assistant跨品牌智能家居教程:Docker部署、米家接入、vivo桥接与远程访问
docker·容器·智能家居
天空'之城4 小时前
002基于 STM32 的智能灯光窗帘控制系统
stm32·单片机·毕业设计·智能家居·pwm
吴建旭 智宅焕4 小时前
智能家居B端投流获客系统的架构设计与实现:经济性约束、承接链路与交付确定性
智能家居
吴建旭 智宅焕1 天前
智能家居B端从业者路径选择的系统架构设计:准入约束、路径匹配与交付确定性
系统架构·智能家居
吴建旭 智宅焕1 天前
智能家居B端交付经济性准入模型的设计与实现:利润结构约束与全国交付基础设施
智能家居
硅基造物主2 天前
STM32 从 0 到 1 做智能家居(十二):USART2 分时复用 —— ESP-12F + MQTT
网络·stm32·mqtt·智能家居·esp-12f
硅基造物主2 天前
STM32 从 0 到 1 做智能家居(十):串口与 printf 重定向
stm32·单片机·智能家居·usart·中断
吴建旭 智宅焕2 天前
智能家居全国交付中内容生产与知识中枢的架构设计:RAG检索增强与交付确定性系统实现
人工智能·智能家居
吴建旭 智宅焕2 天前
智能家居全国交付中售后规则执行层与客户关系层的分离架构设计
智能家居
吴建旭 智宅焕3 天前
智能家居全国交付中双边平台冷启动的供给治理架构:从预期管理到分层调度
架构·智能家居