小智AI 如何自定义唤醒词+背景图:原理+流程拆解

小智AI 从 v2.0.x 版本开始,支持用户自定义唤醒词+表情包+背景图

实现效果如下:

有朋友好奇:如何实现的?

本文,将尝试拆解这部分的基本原理实现思路

1. 设备端

首先,我们要了解 ESP32 芯片中的数据是如何存储的,已了解的朋友可跳过。

以常见的 ESP32s3-N16R8 为例,这里的 N16R8 分别代表啥?

1.1 ESP32中的存储

按照是否在芯片上,存储分两种:

1. 片上存储器(On-chip Memory)

  • 内部ROM(384KB):存储启动代码和关键的系统函数
  • 内部SRAM(512KB):用于运行时变量、堆栈等,访问速度快,断电后数据丢失
  • RTC存储器(16KB):8KB快速存储器,8KB慢速存储器

可以理解为计算机的内存。

2. 片外存储器(Off-chip Memory)

  • Flash存储器:容量通常为8MB或16MB,用于存储程序代码、常量数据和文件系统
  • PSRAM(可选):伪静态随机存储器,用于扩展运行时内存,通过SPI接口连接

可以理解为计算机的硬盘、虚拟内存。

N16R8 就代表 16M 的 Flash 和 8M 的 PSRAM。

硬盘空间有限,为了充分利用,有了分区的概念。

1.2 Flash中的分区

ESP32s3 的 16M 为例,它的分区表如下:

复制代码
# Name,   Type, SubType, Offset,  Size, Flags
nvs,      data, nvs,     0x9000,    0x4000,
otadata,  data, ota,     0xd000,    0x2000,
phy_init, data, phy,     0xf000,    0x1000,
ota_0,    app,  ota_0,   0x20000,   0x3f0000,
ota_1,    app,  ota_1,   ,          0x3f0000,
assets,   data, spiffs,  0x800000,  8M

上表中,Offset 代表分区的起点,Size 代表分区的大小。

那为啥 nvs 是从 0x9000 开始呢?

因为,0x1000-0x9000 另有他用:

  • Bootloader(0x1000-0x8000):存储启动引导程序

  • 分区表(0x8000-0x9000):描述Flash中各分区的信息

这些分区分别是干啥呢?

  • NVS分区(0x9000开始,16KB):存储配置参数和键值对数据
  • OTA数据分区(0xd000开始,8KB):存储OTA更新相关的元数据
  • PHY初始化数据(0xf000开始,4KB):存储射频校准数据
  • OTA固件分区(两个,约3.9MB):存储主应用程序代码,支持固件更新和回滚
  • Assets分区(8MB):存储资源文件(图片、音频、字体等)

上述分区,有哪些优势?

  • 充分利用 Flash 的所有空间;
  • ota_0 和 ota_1 交替使用,当前分区处于"活动"状态,另一分区接收新固件;
  • 分区分工明确,OTA固件分区Assets分区独立更新,互不干扰

而用来自定义唤醒词+表情包+背景图的,正是这里的 Assets分区

问题来了,Assets分区里放的啥,设备端又如何接收更新呢?

下面来看,服务端要做哪些工作。

2. 服务端

2.1 前端交互页面

前端代码已开源:https://github.com/78/xiaozhi-assets-generator

首先,服务端会读取的设备系统信息:

然后,用户可以自定义的选项如下:

  • 唤醒词:内置 esp32 官方训好的唤醒词
  • 字体
  • 表情
  • 背景图

最后,前端否则把上述文件打包成assets.bin:

这个 assets.bin 就是塞进Assets分区的文件。

问题来了,放在你浏览器中的 assets.bin 如何送到设备中去的?

2.2 后端处理逻辑

先看流程图:

具体执行步骤如下:

step 1 :前端和后端保持 websocket 长连接,将 assets.bin 发送到后端服务器,生成一个 url

step 2 :通过 callMcpTool 实现工具调用,本质是给后端发 POST 请求。

step 2.1 :调用 self.assets.set_download_urlurl 送给设备端。

云端调用该工具后,设备端会将url保存到设置中。

复制代码
AddUserOnlyTool("self.assets.set_download_url", "Set the download url for the assets",
    PropertyList({
        Property("url", kPropertyTypeString)
    }),
    [](const PropertyList& properties) -> ReturnValue {
        auto url = properties["url"].value<std::string>();
        Settings settings("assets", true);
        settings.SetString("download_url", url);
        return true;
    });

step 2.2 :调用 self.reboot,设备重启。

step 2.3 :设备重启后,根据 url 下载 assets.binAssets分区

自此,设备端更新生效。

问题来了,上述工具调用,不都是 MCPTool 吗?

而要实现 tool/call,底层还得通过 MQTT,所以前端给后端发了 POST 请求后,后端是给 MQTT broker 的 topic 发了这条指令,最终这条指令,被设备端执行。

写在最后

本文分享了小智AI: 自定义唤醒词+表情包+背景图的基本原理和实现思路。

篇幅有限,关于 MQTT + MCP 实现设备远程控制的原理,我们下篇见。

如果对你有帮助,不妨点赞收藏备用。

小智Pro下一版本更新,也将支持设备远程控制,有任何想法,欢迎来聊👇:

https://ai.feishu.cn/wiki/IfTawES0mi0YTqk8GQ4cw4qOnD3

相关推荐
多则惑少则明2 小时前
AI大模型实用(八)Java快速实现智能体整理(使用LangChain4j-agentic来进行情感分析/分类)
java·人工智能·spring ai·langchain4j
m0_692457102 小时前
ROI切割-感兴趣区域
人工智能·深度学习·计算机视觉
love530love2 小时前
Win11+RTX3090 亲测 · ComfyUI Hunyuan3D 全程实录 ③:diso 源码编译实战(CUDA 13.1 零降级)
开发语言·人工智能·windows·python·comfyui·hunyuan3d·diso
落羽的落羽2 小时前
【C++】深入浅出“图”——图的遍历与最小生成树算法
linux·服务器·c++·人工智能·算法·机器学习·深度优先
独自归家的兔2 小时前
Qwen3-Omni-Captioner:通义千问 3-Omni 基座的智能音频描述开源模型
人工智能·语音识别
yesyesyoucan2 小时前
AI证件照生成技术全解析:人脸识别、背景分割与格式合规性实现方案
人工智能·考研·高考
FL16238631292 小时前
[C#][winform]基于yolov11的齿轮缺陷检测系统C#源码+onnx模型+评估指标曲线+精美GUI界面
人工智能·yolo
却道天凉_好个秋2 小时前
OpenCV(四十三):分水岭法
人工智能·opencv·计算机视觉·图像分割·分水岭法
爱笑的眼睛112 小时前
TensorFlow Hub:解锁预训练模型的无限可能,超越基础分类任务
java·人工智能·python·ai