四博 AI 双目智能音箱技术方案
四路触摸 + 震动反馈 + 双目屏幕 + 三轴姿态 + AI 大模型语音交互
1. 方案定位
四博 AI 双目智能音箱是一套面向 AI 音箱、AI 桌宠、儿童陪伴、智能学习终端、IP 潮玩、品牌定制硬件 的多模态 AI 交互方案。
方案核心是：
ESP32-S3 主控
+ VB6824 语音前端
+ 0.71 / 1.28 寸双目屏幕
+ 四路触摸感应
+ 震动马达
+ 三轴姿态传感器
+ 麦克风 / 喇叭 / 功放
+ Wi-Fi / BLE
+ 四博小助手小程序
+ 云端大模型 / 知识库 / 声音克隆 / MCP资料中 AI-S3 双目方案本身已经包含双目、RoPet_ESPS3_AI_EYE、VB6824、配网、实时打断、自定义唤醒词等开发内容，适合在现有方案基础上继续扩展成 AI 音箱或 AI 桌宠产品。
2. 核心卖点
2.1 双目屏幕：0.71 / 1.28 双规格兼容
四博 AI 双目主板支持 0.71 寸和 1.28 寸屏幕；资料中还提到，0.71 寸屏幕和 1.28 寸屏幕可根据不同板型和固件选择使用。
屏幕参数建议如下：
| 屏幕规格 | 分辨率 | 产品定位 |
|---|---|---|
| 0.71 寸双目屏 | 160 × 160 | 小尺寸、低功耗、AI 玩具、桌面摆件 |
| 1.28 寸双目屏 | 240 × 240 | AI 音箱、AI 桌宠、陪伴机器人、IP 潮玩 |
开发资料中明确给出了 1.28 寸屏幕分辨率为 240×240，0.71 寸屏幕分辨率为 160×160。
2.2 四路触摸感应：本地交互入口
四路触摸可以定义为：
| 触摸区域 | 建议功能 |
|---|---|
| 顶部触摸 | 唤醒 AI / 暂停播放 / 继续播放 |
| 左侧触摸 | 上一个角色 / 上一首音乐 |
| 右侧触摸 | 下一个角色 / 下一首音乐 |
| 背部触摸 | 配网 / 静音 / 长按恢复出厂 |
这样 AI 音箱不只依赖语音，还可以通过触摸完成高频操作。
2.3 震动马达：补齐触觉反馈
震动马达用于让设备具备"触摸确认感"：
| 场景 | 震动反馈 |
|---|---|
| 触摸成功 | 短震 |
| 唤醒成功 | 双短震 |
| 网络异常 | 长震 |
| 摇晃互动 | 连续轻震 |
| OTA 升级 | 节奏震动 |
| 低电量 | 间歇震动 |
这对 AI 桌宠、儿童陪伴音箱、IP 潮玩类产品很重要。用户摸一下设备，设备立刻通过表情 + 震动 + 声音响应，交互感会明显强很多。
2.4 三轴传感：姿态感应灵敏顺畅
三轴传感器可以实现：
拿起唤醒
摇一摇切换角色
翻转静音
倾斜控制眼球方向
敲击触发彩蛋
静置自动休眠配合双目动画后，设备可以实现更像"生命体"的交互体验：
拿起设备 → 双目睁眼
摇晃设备 → 惊讶表情 + 双震
翻转设备 → 睡眠表情 + 停止播放
倾斜设备 → 眼球跟随
触摸顶部 → 开心表情 + 进入聆听2.5 四博小助手小程序：AI 能力配置中心
资料中提到，四博小助手小程序可实现 AI 对话、声音克隆、知识库接入、MCP 扩展能力，以及素材与固件在线更新。
因此，这套 AI 音箱可以不是单机产品，而是"硬件 + 小程序 + 云端 AI"的完整平台：
设备绑定
Wi-Fi / BLE 配网
AI 智能体选择
声音克隆
专属知识库搭建
MCP 工具配置
眼睛主题更新
提示音更新
固件 OTA
儿童模式 / 家长模式3. 硬件架构设计
3.1 推荐硬件配置
| 模块 | 推荐配置 |
|---|---|
| 主控 | 四博 ESPS3-32 / ESPS3-32E |
| 芯片 | ESP32-S3R8 / S3R2 可选 |
| Flash | 16MB 推荐 |
| PSRAM | 建议选 R8，用于动画、音频缓存 |
| 语音前端 | VB6824 |
| 显示 | 0.71 / 1.28 寸双目屏 |
| 触摸 | 4 路触摸感应 |
| 姿态 | 三轴加速度计 / 六轴 IMU 可选 |
| 反馈 | 震动马达 |
| 音频 | 麦克风 + 喇叭 + 功放 |
| 网络 | 2.4G Wi-Fi + BLE |
| 扩展 | SD 卡 / 4G / RGB 灯 / 电池管理 |
| 平台 | 四博小助手小程序 |
四博 ESPS3 系列模组覆盖 ESPS3-32、ESPS3-32E 等型号，芯片配置包含 ESP32-S3、S3R2、S3R8，并兼容官方 ESP32-S3-WROOM 系列模组，适合用作 AI 音箱、双目屏、音视频和多模态终端的主控平台。
3.2 系统框图
┌────────────────────────────────────┐
│ 四博小助手小程序 │
│ 配网 / 声音克隆 / 知识库 / MCP / OTA │
└───────────────┬────────────────────┘
│ BLE / Wi-Fi / HTTPS / WebSocket
┌───────────────▼────────────────────┐
│ ESP32-S3 主控 │
│ Wi-Fi / BLE / UI / 状态机 / OTA │
│ 双目动画 / 触摸 / IMU / 马达 / MCP │
└───────┬────────────┬────────────┬───┘
│ │ │
┌───────▼──────┐ ┌───▼──────┐ ┌──▼──────────┐
│ VB6824 │ │ 双目屏幕 │ │ 触摸/IMU/马达 │
│ 唤醒/AEC/打断 │ │ 0.71/1.28 │ │ 四触摸/三轴/震动 │
└───────┬──────┘ └──────────┘ └─────────────┘
│
┌───────▼──────────────┐
│ 麦克风 / 功放 / 喇叭 │
└──────────────────────┘4. 软件架构设计
建议采用 ESP-IDF + FreeRTOS + 事件队列 + 状态机 架构。
资料中 AI 开发宝典也明确提到，小智 AI 系统硬件设备开源代码可以在 VSCode 中安装 ESP-IDF 扩展和编译工具进行编译烧录。
推荐任务划分：
app_main
├── wifi_task // Wi-Fi 连接、断线重连
├── blufi_task // 四博小助手 BLE 配网
├── vb6824_task // 唤醒、打断、录音事件
├── ai_ws_task // AI WebSocket / MQTT 通信
├── eye_task // 双目动画刷新
├── touch_task // 四路触摸扫描
├── imu_task // 三轴姿态检测
├── haptic_task // 震动马达控制
├── audio_task // TTS / 提示音 / 音量管理
├── mcp_task // MCP 工具调用
├── ota_task // 固件和素材升级
└── factory_task // 工厂产测5. 代码设计
下面代码是方案级参考代码，实际 GPIO、I2C 地址、触摸通道、屏幕驱动、VB6824 协议，需要按四博双目板原理图调整。
5.1 全局事件队列
// app_event.h
#pragma once
#include <stdint.h>
#include <stdbool.h>
#include "freertos/FreeRTOS.h"
#include "freertos/queue.h"
typedef enum {
APP_EVT_NONE = 0,
APP_EVT_WIFI_CONNECTED,
APP_EVT_WIFI_DISCONNECTED,
APP_EVT_BLUFI_START,
APP_EVT_BLUFI_DONE,
APP_EVT_WAKE_WORD,
APP_EVT_VOICE_INTERRUPT,
APP_EVT_RECORD_START,
APP_EVT_RECORD_STOP,
APP_EVT_TOUCH_TOP,
APP_EVT_TOUCH_LEFT,
APP_EVT_TOUCH_RIGHT,
APP_EVT_TOUCH_BACK,
APP_EVT_IMU_PICKUP,
APP_EVT_IMU_SHAKE,
APP_EVT_IMU_FLIP,
APP_EVT_IMU_TILT_LEFT,
APP_EVT_IMU_TILT_RIGHT,
APP_EVT_AI_LISTENING,
APP_EVT_AI_THINKING,
APP_EVT_AI_SPEAKING,
APP_EVT_AI_FINISHED,
APP_EVT_AI_ERROR,
APP_EVT_MCP_TOOL_CALL,
APP_EVT_LOW_BATTERY,
APP_EVT_OTA_START,
APP_EVT_OTA_DONE,
} app_event_id_t;
typedef struct {
app_event_id_t id;
int param1;
int param2;
char payload[256];
} app_event_t;
extern QueueHandle_t g_app_event_queue;
void app_post_event(app_event_id_t id, int p1, int p2, const char *payload);
// app_event.c
#include "app_event.h"
#include <string.h>
QueueHandle_t g_app_event_queue = NULL;
void app_post_event(app_event_id_t id, int p1, int p2, const char *payload)
{
if (!g_app_event_queue) {
return;
}
app_event_t evt = {
.id = id,
.param1 = p1,
.param2 = p2,
};
if (payload) {
strncpy(evt.payload, payload, sizeof(evt.payload) - 1);
}
xQueueSend(g_app_event_queue, &evt, 0);
}5.2 主程序初始化
// app_main.c
#include "esp_log.h"
#include "nvs_flash.h"
#include "app_event.h"
static const char *TAG = "SIBO_AI_EYE_SPEAKER";
void wifi_app_start(void);
void blufi_app_start(void);
void vb6824_app_start(void);
void eye_app_start(void);
void touch_app_start(void);
void imu_app_start(void);
void haptic_app_start(void);
void ai_client_start(void);
void mcp_app_start(void);
void ota_app_start(void);
void app_dispatch_start(void);
void app_main(void)
{
ESP_ERROR_CHECK(nvs_flash_init());
g_app_event_queue = xQueueCreate(32, sizeof(app_event_t));
if (!g_app_event_queue) {
ESP_LOGE(TAG, "事件队列创建失败");
return;
}
haptic_app_start();
eye_app_start();
wifi_app_start();
blufi_app_start();
vb6824_app_start();
touch_app_start();
imu_app_start();
ai_client_start();
mcp_app_start();
ota_app_start();
app_dispatch_start();
ESP_LOGI(TAG, "四博 AI 双目智能音箱启动完成");
}5.3 AI 状态机
typedef enum {
AI_STATE_BOOT = 0,
AI_STATE_IDLE,
AI_STATE_WAKEUP,
AI_STATE_LISTENING,
AI_STATE_THINKING,
AI_STATE_SPEAKING,
AI_STATE_TOUCH_FEEDBACK,
AI_STATE_SHAKE_FEEDBACK,
AI_STATE_SLEEP,
AI_STATE_NETWORK_ERROR,
AI_STATE_LOW_BATTERY,
AI_STATE_OTA,
} ai_state_t;
static ai_state_t g_ai_state = AI_STATE_BOOT;
void eye_play_anim(const char *name);
void audio_play_prompt(const char *name);
void audio_start_record(void);
void audio_stop_record(void);
void audio_stop_tts(void);
void haptic_short(void);
void haptic_double(void);
void haptic_long(void);
void haptic_rhythm_ota(void);
void ai_set_state(ai_state_t state)
{
g_ai_state = state;
switch (state) {
case AI_STATE_BOOT:
eye_play_anim("boot");
audio_play_prompt("boot.wav");
break;
case AI_STATE_IDLE:
eye_play_anim("idle_blink");
break;
case AI_STATE_WAKEUP:
eye_play_anim("wake");
haptic_double();
audio_play_prompt("ding.wav");
break;
case AI_STATE_LISTENING:
eye_play_anim("listening");
audio_start_record();
break;
case AI_STATE_THINKING:
eye_play_anim("thinking");
break;
case AI_STATE_SPEAKING:
eye_play_anim("speaking");
break;
case AI_STATE_TOUCH_FEEDBACK:
eye_play_anim("happy");
haptic_short();
break;
case AI_STATE_SHAKE_FEEDBACK:
eye_play_anim("surprised");
haptic_double();
break;
case AI_STATE_SLEEP:
eye_play_anim("sleep");
audio_stop_tts();
break;
case AI_STATE_NETWORK_ERROR:
eye_play_anim("net_error");
haptic_long();
audio_play_prompt("network_error.wav");
break;
case AI_STATE_LOW_BATTERY:
eye_play_anim("low_battery");
haptic_long();
audio_play_prompt("low_battery.wav");
break;
case AI_STATE_OTA:
eye_play_anim("ota");
haptic_rhythm_ota();
break;
default:
eye_play_anim("idle_blink");
break;
}
}状态联动效果：
唤醒成功：睁眼 + 双短震 + 提示音
正在聆听：聚焦眼神 + 开始录音
AI 思考：眼球转动 / Loading 动画
AI 回复：说话表情 + TTS 播放
触摸反馈：开心表情 + 短震
摇晃互动：惊讶表情 + 双震
翻转静音：睡眠表情 + 停止播放
网络异常：困惑表情 + 长震 + 错误提示音5.4 四路触摸检测
如果使用 ESP32-S3 Touch Pad，可以这样做：
#include "driver/touch_sensor.h"
#include "esp_log.h"
#include "app_event.h"
#define TOUCH_THRESHOLD_PERCENT 70
typedef struct {
touch_pad_t pad;
uint32_t baseline;
app_event_id_t evt;
const char *name;
} touch_key_t;
static touch_key_t s_touch_keys[] = {
{TOUCH_PAD_NUM1, 0, APP_EVT_TOUCH_TOP, "TOP"},
{TOUCH_PAD_NUM2, 0, APP_EVT_TOUCH_LEFT, "LEFT"},
{TOUCH_PAD_NUM3, 0, APP_EVT_TOUCH_RIGHT, "RIGHT"},
{TOUCH_PAD_NUM4, 0, APP_EVT_TOUCH_BACK, "BACK"},
};
static void touch_calibrate(void)
{
for (int i = 0; i < 4; i++) {
uint32_t sum = 0;
for (int j = 0; j < 20; j++) {
uint32_t raw = 0;
touch_pad_read_raw_data(s_touch_keys[i].pad, &raw);
sum += raw;
vTaskDelay(pdMS_TO_TICKS(10));
}
s_touch_keys[i].baseline = sum / 20;
ESP_LOGI("TOUCH", "%s baseline=%lu",
s_touch_keys[i].name,
s_touch_keys[i].baseline);
}
}
static void touch_task(void *arg)
{
while (1) {
for (int i = 0; i < 4; i++) {
uint32_t raw = 0;
touch_pad_read_raw_data(s_touch_keys[i].pad, &raw);
uint32_t threshold =
s_touch_keys[i].baseline * TOUCH_THRESHOLD_PERCENT / 100;
if (raw < threshold) {
ESP_LOGI("TOUCH", "%s touched raw=%lu",
s_touch_keys[i].name, raw);
app_post_event(s_touch_keys[i].evt, raw, 0, NULL);
// 防止一次触摸被重复识别
vTaskDelay(pdMS_TO_TICKS(250));
}
}
vTaskDelay(pdMS_TO_TICKS(30));
}
}
void touch_app_start(void)
{
ESP_ERROR_CHECK(touch_pad_init());
for (int i = 0; i < 4; i++) {
ESP_ERROR_CHECK(touch_pad_config(s_touch_keys[i].pad));
}
vTaskDelay(pdMS_TO_TICKS(300));
touch_calibrate();
xTaskCreate(touch_task, "touch_task", 4096, NULL, 5, NULL);
}如果实际硬件采用外置 I2C 触摸芯片，只需要把 touch_pad_read_raw_data() 替换为 I2C 读取触摸状态即可。
5.5 震动马达驱动
#include "driver/ledc.h"
#include "freertos/FreeRTOS.h"
#include "freertos/task.h"
#define MOTOR_GPIO 15
#define MOTOR_LEDC_MODE LEDC_LOW_SPEED_MODE
#define MOTOR_TIMER LEDC_TIMER_0
#define MOTOR_CHANNEL LEDC_CHANNEL_0
#define MOTOR_FREQ_HZ 2000
#define MOTOR_DUTY_MAX 8191
static void motor_set(uint32_t duty)
{
ledc_set_duty(MOTOR_LEDC_MODE, MOTOR_CHANNEL, duty);
ledc_update_duty(MOTOR_LEDC_MODE, MOTOR_CHANNEL);
}
void haptic_short(void)
{
motor_set(MOTOR_DUTY_MAX * 60 / 100);
vTaskDelay(pdMS_TO_TICKS(60));
motor_set(0);
}
void haptic_double(void)
{
for (int i = 0; i < 2; i++) {
motor_set(MOTOR_DUTY_MAX * 70 / 100);
vTaskDelay(pdMS_TO_TICKS(50));
motor_set(0);
vTaskDelay(pdMS_TO_TICKS(80));
}
}
void haptic_long(void)
{
motor_set(MOTOR_DUTY_MAX * 80 / 100);
vTaskDelay(pdMS_TO_TICKS(300));
motor_set(0);
}
void haptic_rhythm_ota(void)
{
for (int i = 0; i < 3; i++) {
motor_set(MOTOR_DUTY_MAX * 50 / 100);
vTaskDelay(pdMS_TO_TICKS(80));
motor_set(0);
vTaskDelay(pdMS_TO_TICKS(120));
}
}
void haptic_app_start(void)
{
ledc_timer_config_t timer = {
.speed_mode = MOTOR_LEDC_MODE,
.timer_num = MOTOR_TIMER,
.duty_resolution = LEDC_TIMER_13_BIT,
.freq_hz = MOTOR_FREQ_HZ,
.clk_cfg = LEDC_AUTO_CLK,
};
ESP_ERROR_CHECK(ledc_timer_config(&timer));
ledc_channel_config_t ch = {
.gpio_num = MOTOR_GPIO,
.speed_mode = MOTOR_LEDC_MODE,
.channel = MOTOR_CHANNEL,
.timer_sel = MOTOR_TIMER,
.duty = 0,
.hpoint = 0,
};
ESP_ERROR_CHECK(ledc_channel_config(&ch));
}5.6 三轴姿态检测
下面以常见 I2C 三轴传感器为例，实际可替换为 QMI8658、MPU6050、LIS3DH 等。
#include "driver/i2c.h"
#include "esp_log.h"
#include "app_event.h"
#include <math.h>
#define I2C_PORT I2C_NUM_0
#define I2C_SDA_GPIO 8
#define I2C_SCL_GPIO 9
#define I2C_FREQ_HZ 400000
#define IMU_ADDR 0x68
#define IMU_REG_ACCEL_X 0x3B
typedef struct {
int16_t x;
int16_t y;
int16_t z;
} accel_data_t;
static esp_err_t imu_read_accel(accel_data_t *acc)
{
uint8_t reg = IMU_REG_ACCEL_X;
uint8_t buf[6] = {0};
esp_err_t ret = i2c_master_write_read_device(
I2C_PORT,
IMU_ADDR,
®,
1,
buf,
sizeof(buf),
pdMS_TO_TICKS(50)
);
if (ret != ESP_OK) {
return ret;
}
acc->x = (int16_t)((buf[0] << 8) | buf[1]);
acc->y = (int16_t)((buf[2] << 8) | buf[3]);
acc->z = (int16_t)((buf[4] << 8) | buf[5]);
return ESP_OK;
}
static bool imu_detect_shake(accel_data_t now, accel_data_t last)
{
int dx = abs(now.x - last.x);
int dy = abs(now.y - last.y);
int dz = abs(now.z - last.z);
return (dx + dy + dz) > 18000;
}
static bool imu_detect_flip(accel_data_t now)
{
return now.z < -12000;
}
static bool imu_detect_tilt_left(accel_data_t now)
{
return now.x < -10000;
}
static bool imu_detect_tilt_right(accel_data_t now)
{
return now.x > 10000;
}
static void imu_task(void *arg)
{
accel_data_t last = {0};
while (1) {
accel_data_t now;
if (imu_read_accel(&now) == ESP_OK) {
if (imu_detect_shake(now, last)) {
app_post_event(APP_EVT_IMU_SHAKE, now.x, now.y, NULL);
}
if (imu_detect_flip(now)) {
app_post_event(APP_EVT_IMU_FLIP, now.x, now.z, NULL);
}
if (imu_detect_tilt_left(now)) {
app_post_event(APP_EVT_IMU_TILT_LEFT, now.x, 0, NULL);
}
if (imu_detect_tilt_right(now)) {
app_post_event(APP_EVT_IMU_TILT_RIGHT, now.x, 0, NULL);
}
last = now;
}
vTaskDelay(pdMS_TO_TICKS(80));
}
}
void imu_app_start(void)
{
i2c_config_t conf = {
.mode = I2C_MODE_MASTER,
.sda_io_num = I2C_SDA_GPIO,
.scl_io_num = I2C_SCL_GPIO,
.sda_pullup_en = GPIO_PULLUP_ENABLE,
.scl_pullup_en = GPIO_PULLUP_ENABLE,
.master.clk_speed = I2C_FREQ_HZ,
};
ESP_ERROR_CHECK(i2c_param_config(I2C_PORT, &conf));
ESP_ERROR_CHECK(i2c_driver_install(I2C_PORT, I2C_MODE_MASTER, 0, 0, 0));
xTaskCreate(imu_task, "imu_task", 4096, NULL, 5, NULL);
}姿态事件处理：
static void handle_imu_event(app_event_t *evt)
{
switch (evt->id) {
case APP_EVT_IMU_SHAKE:
ai_set_state(AI_STATE_SHAKE_FEEDBACK);
role_switch_random();
break;
case APP_EVT_IMU_FLIP:
ai_set_state(AI_STATE_SLEEP);
audio_stop_tts();
break;
case APP_EVT_IMU_TILT_LEFT:
eye_set_gaze(-30, 0);
break;
case APP_EVT_IMU_TILT_RIGHT:
eye_set_gaze(30, 0);
break;
default:
break;
}
}5.7 VB6824 事件解析
VB6824 可负责唤醒、AEC、实时打断、录音事件。资料中也提到 VB6824 自定义唤醒词和实时打断固件相关内容。
示例协议：
0xA5 0x01 0x00 0x5A 唤醒成功
0xA5 0x02 0x00 0x5A 用户打断
0xA5 0x03 0x00 0x5A 开始录音
0xA5 0x04 0x00 0x5A 停止录音解析代码：
#include "driver/uart.h"
#include "app_event.h"
#include "esp_log.h"
#define VB_UART_NUM UART_NUM_1
#define VB_UART_TX 17
#define VB_UART_RX 18
#define VB_UART_BAUD 115200
#define VB_HEAD 0xA5
#define VB_TAIL 0x5A
#define VB_CMD_WAKEUP 0x01
#define VB_CMD_INTERRUPT 0x02
#define VB_CMD_REC_START 0x03
#define VB_CMD_REC_STOP 0x04
static void vb6824_parse_frame(uint8_t *buf, int len)
{
if (len < 4) {
return;
}
if (buf[0] != VB_HEAD || buf[3] != VB_TAIL) {
return;
}
switch (buf[1]) {
case VB_CMD_WAKEUP:
ESP_LOGI("VB6824", "唤醒成功");
app_post_event(APP_EVT_WAKE_WORD, 0, 0, NULL);
break;
case VB_CMD_INTERRUPT:
ESP_LOGI("VB6824", "用户打断");
app_post_event(APP_EVT_VOICE_INTERRUPT, 0, 0, NULL);
break;
case VB_CMD_REC_START:
ESP_LOGI("VB6824", "开始录音");
app_post_event(APP_EVT_RECORD_START, 0, 0, NULL);
break;
case VB_CMD_REC_STOP:
ESP_LOGI("VB6824", "停止录音");
app_post_event(APP_EVT_RECORD_STOP, 0, 0, NULL);
break;
default:
ESP_LOGW("VB6824", "未知命令: 0x%02X", buf[1]);
break;
}
}
static void vb6824_uart_task(void *arg)
{
uint8_t rx[64];
while (1) {
int len = uart_read_bytes(
VB_UART_NUM,
rx,
sizeof(rx),
pdMS_TO_TICKS(100)
);
if (len > 0) {
vb6824_parse_frame(rx, len);
}
}
}
void vb6824_app_start(void)
{
uart_config_t cfg = {
.baud_rate = VB_UART_BAUD,
.data_bits = UART_DATA_8_BITS,
.parity = UART_PARITY_DISABLE,
.stop_bits = UART_STOP_BITS_1,
.flow_ctrl = UART_HW_FLOWCTRL_DISABLE,
};
ESP_ERROR_CHECK(uart_driver_install(VB_UART_NUM, 2048, 0, 0, NULL, 0));
ESP_ERROR_CHECK(uart_param_config(VB_UART_NUM, &cfg));
ESP_ERROR_CHECK(uart_set_pin(VB_UART_NUM, VB_UART_TX, VB_UART_RX,
UART_PIN_NO_CHANGE, UART_PIN_NO_CHANGE));
xTaskCreate(vb6824_uart_task, "vb6824_uart", 4096, NULL, 6, NULL);
}5.8 统一事件分发
static void app_dispatch_task(void *arg)
{
app_event_t evt;
while (1) {
if (xQueueReceive(g_app_event_queue, &evt, portMAX_DELAY)) {
switch (evt.id) {
case APP_EVT_WIFI_CONNECTED:
ai_set_state(AI_STATE_IDLE);
break;
case APP_EVT_WIFI_DISCONNECTED:
ai_set_state(AI_STATE_NETWORK_ERROR);
break;
case APP_EVT_WAKE_WORD:
ai_set_state(AI_STATE_WAKEUP);
ai_set_state(AI_STATE_LISTENING);
break;
case APP_EVT_VOICE_INTERRUPT:
audio_stop_tts();
ai_set_state(AI_STATE_LISTENING);
break;
case APP_EVT_RECORD_START:
ai_set_state(AI_STATE_LISTENING);
break;
case APP_EVT_RECORD_STOP:
audio_stop_record();
ai_set_state(AI_STATE_THINKING);
break;
case APP_EVT_TOUCH_TOP:
ai_set_state(AI_STATE_TOUCH_FEEDBACK);
app_post_event(APP_EVT_WAKE_WORD, 0, 0, NULL);
break;
case APP_EVT_TOUCH_LEFT:
role_switch_prev();
eye_play_anim("prev_role");
haptic_short();
break;
case APP_EVT_TOUCH_RIGHT:
role_switch_next();
eye_play_anim("next_role");
haptic_short();
break;
case APP_EVT_TOUCH_BACK:
eye_play_anim("config");
haptic_double();
blufi_start_config();
break;
case APP_EVT_IMU_SHAKE:
case APP_EVT_IMU_FLIP:
case APP_EVT_IMU_TILT_LEFT:
case APP_EVT_IMU_TILT_RIGHT:
handle_imu_event(&evt);
break;
case APP_EVT_AI_THINKING:
ai_set_state(AI_STATE_THINKING);
break;
case APP_EVT_AI_SPEAKING:
ai_set_state(AI_STATE_SPEAKING);
break;
case APP_EVT_AI_ERROR:
ai_set_state(AI_STATE_NETWORK_ERROR);
break;
case APP_EVT_LOW_BATTERY:
ai_set_state(AI_STATE_LOW_BATTERY);
break;
case APP_EVT_OTA_START:
ai_set_state(AI_STATE_OTA);
break;
default:
break;
}
}
}
}
void app_dispatch_start(void)
{
xTaskCreate(app_dispatch_task, "app_dispatch", 4096, NULL, 6, NULL);
}6. AI 云端通信与双目联动
云端建议返回结构化 JSON：
{
"type": "tts",
"state": "start",
"emotion": "happy",
"text": "你好，我在。"
}设备端解析：
#include "cJSON.h"
static void ai_handle_json(const char *json)
{
cJSON *root = cJSON_Parse(json);
if (!root) {
return;
}
cJSON *type = cJSON_GetObjectItem(root, "type");
cJSON *state = cJSON_GetObjectItem(root, "state");
cJSON *emotion = cJSON_GetObjectItem(root, "emotion");
if (cJSON_IsString(type)) {
if (strcmp(type->valuestring, "stt") == 0) {
app_post_event(APP_EVT_AI_THINKING, 0, 0, NULL);
}
if (strcmp(type->valuestring, "llm") == 0) {
app_post_event(APP_EVT_AI_THINKING, 0, 0, NULL);
}
if (strcmp(type->valuestring, "tts") == 0) {
if (state && cJSON_IsString(state)) {
if (strcmp(state->valuestring, "start") == 0) {
app_post_event(APP_EVT_AI_SPEAKING, 0, 0, NULL);
} else if (strcmp(state->valuestring, "stop") == 0) {
app_post_event(APP_EVT_AI_FINISHED, 0, 0, NULL);
}
}
}
}
if (cJSON_IsString(emotion)) {
if (strcmp(emotion->valuestring, "happy") == 0) {
eye_play_anim("happy");
} else if (strcmp(emotion->valuestring, "thinking") == 0) {
eye_play_anim("thinking");
} else if (strcmp(emotion->valuestring, "sad") == 0) {
eye_play_anim("sad");
} else if (strcmp(emotion->valuestring, "surprised") == 0) {
eye_play_anim("surprised");
} else {
eye_play_anim("speaking");
}
}
cJSON_Delete(root);
}这样云端 AI 不只是返回文字，还可以控制双目表情。
7. MCP 工具扩展设计
资料中给出了 AT+MCP / AT+ADDMCP 相关指令，可用于向 AI 模组添加工具能力。例如设置屏幕主题、设置 RGB 灯光颜色等，AI 在对话中触发后可返回对应串口协议。
7.1 MCP 工具定义：设置眼睛表情
{
"name": "self.eye.set_expression",
"description": "设置四博AI双目的表情状态",
"parameters": {
"type": "object",
"properties": {
"expression": {
"type": "string",
"enum": ["开心", "思考", "惊讶", "困惑", "睡觉", "待机"]
}
},
"required": ["expression"]
}
}设备侧处理：
void mcp_set_eye_expression(const char *expression)
{
if (strcmp(expression, "开心") == 0) {
eye_play_anim("happy");
haptic_short();
} else if (strcmp(expression, "思考") == 0) {
eye_play_anim("thinking");
} else if (strcmp(expression, "惊讶") == 0) {
eye_play_anim("surprised");
haptic_double();
} else if (strcmp(expression, "困惑") == 0) {
eye_play_anim("confused");
} else if (strcmp(expression, "睡觉") == 0) {
eye_play_anim("sleep");
} else {
eye_play_anim("idle_blink");
}
}7.2 MCP 工具定义：切换眼睛主题
{
"name": "self.eye.set_theme",
"description": "切换四博AI双目的眼睛主题",
"parameters": {
"type": "object",
"properties": {
"theme": {
"type": "string",
"enum": ["默认", "海洋", "爱心", "梦境", "彩虹", "机甲", "花仙子"]
}
},
"required": ["theme"]
}
}
void mcp_set_eye_theme(const char *theme)
{
if (strcmp(theme, "海洋") == 0) {
eye_load_theme("ocean");
} else if (strcmp(theme, "爱心") == 0) {
eye_load_theme("heart");
} else if (strcmp(theme, "梦境") == 0) {
eye_load_theme("dream");
} else if (strcmp(theme, "彩虹") == 0) {
eye_load_theme("rainbow");
} else if (strcmp(theme, "机甲") == 0) {
eye_load_theme("mecha");
} else if (strcmp(theme, "花仙子") == 0) {
eye_load_theme("flower");
} else {
eye_load_theme("default");
}
haptic_short();
}用户可以直接说：
"把眼睛换成爱心主题。"
"切换成睡觉表情。"
"进入配网模式。"
"音量调低一点。"AI 通过 MCP 调用设备能力，设备端再执行屏幕、音频、震动、配网等操作。
8. 小程序配置与 NVS 保存
设备配置结构：
typedef struct {
char device_id[32];
char user_id[32];
char wifi_ssid[32];
char ai_agent_id[64];
char voice_id[64];
char kb_id[64];
int volume;
int brightness;
int wake_sensitivity;
int eye_theme;
bool child_mode;
bool quiet_mode;
bool auto_sleep;
} device_config_t;
static device_config_t g_device_config;保存到 NVS：
#include "nvs_flash.h"
#include "nvs.h"
#define NVS_NAMESPACE "dev_cfg"
#define NVS_KEY "config"
esp_err_t device_config_save(void)
{
nvs_handle_t nvs;
esp_err_t ret = nvs_open(NVS_NAMESPACE, NVS_READWRITE, &nvs);
if (ret != ESP_OK) {
return ret;
}
ret = nvs_set_blob(nvs, NVS_KEY,
&g_device_config,
sizeof(g_device_config));
if (ret == ESP_OK) {
ret = nvs_commit(nvs);
}
nvs_close(nvs);
return ret;
}
esp_err_t device_config_load(void)
{
nvs_handle_t nvs;
size_t len = sizeof(g_device_config);
esp_err_t ret = nvs_open(NVS_NAMESPACE, NVS_READONLY, &nvs);
if (ret != ESP_OK) {
return ret;
}
ret = nvs_get_blob(nvs, NVS_KEY, &g_device_config, &len);
nvs_close(nvs);
return ret;
}小程序下发配置示例：
{
"cmd": "set_ai_profile",
"ai_agent_id": "agent_sibo_001",
"voice_id": "voice_clone_user_001",
"kb_id": "kb_product_manual_001",
"volume": 70,
"brightness": 80,
"eye_theme": 3,
"child_mode": true,
"quiet_mode": false
}设备端解析：
static int json_get_int(cJSON *root, const char *key, int def)
{
cJSON *item = cJSON_GetObjectItem(root, key);
return cJSON_IsNumber(item) ? item->valueint : def;
}
static bool json_get_bool(cJSON *root, const char *key, bool def)
{
cJSON *item = cJSON_GetObjectItem(root, key);
return cJSON_IsBool(item) ? cJSON_IsTrue(item) : def;
}
static void json_copy_string(cJSON *root,
const char *key,
char *out,
size_t out_size)
{
cJSON *item = cJSON_GetObjectItem(root, key);
if (cJSON_IsString(item) && item->valuestring) {
strncpy(out, item->valuestring, out_size - 1);
}
}
void app_handle_config_json(const char *json)
{
cJSON *root = cJSON_Parse(json);
if (!root) {
return;
}
cJSON *cmd = cJSON_GetObjectItem(root, "cmd");
if (cJSON_IsString(cmd) &&
strcmp(cmd->valuestring, "set_ai_profile") == 0) {
json_copy_string(root, "ai_agent_id",
g_device_config.ai_agent_id,
sizeof(g_device_config.ai_agent_id));
json_copy_string(root, "voice_id",
g_device_config.voice_id,
sizeof(g_device_config.voice_id));
json_copy_string(root, "kb_id",
g_device_config.kb_id,
sizeof(g_device_config.kb_id));
g_device_config.volume =
json_get_int(root, "volume", 70);
g_device_config.brightness =
json_get_int(root, "brightness", 80);
g_device_config.eye_theme =
json_get_int(root, "eye_theme", 0);
g_device_config.child_mode =
json_get_bool(root, "child_mode", false);
g_device_config.quiet_mode =
json_get_bool(root, "quiet_mode", false);
audio_set_volume(g_device_config.volume);
lcd_set_brightness(g_device_config.brightness);
eye_theme_set(g_device_config.eye_theme);
device_config_save();
eye_play_anim("happy");
audio_tts_play("设备配置已经更新完成。");
}
cJSON_Delete(root);
}9. OTA 与素材更新
AI 双目音箱建议把 OTA 分成两类：
系统 OTA：升级固件、驱动、AI 协议、MCP 工具、状态机
素材 OTA：升级眼睛动画、提示音、角色皮肤、节日主题推荐分区：
# Name, Type, SubType, Offset, Size
nvs, data, nvs, 0x9000, 0x6000
otadata, data, ota, 0xf000, 0x2000
phy_init, data, phy, 0x11000, 0x1000
factory, app, factory, 0x20000, 2M
ota_0, app, ota_0, 0x220000, 2M
ota_1, app, ota_1, 0x420000, 2M
assets, data, spiffs, 0x620000, 4M
storage, data, fat, 0xA20000, 4MOTA 清单：
{
"device": "sibo_ai_eye_speaker",
"hw_version": "V1.0",
"fw_version": "1.0.8",
"asset_version": "2026.04.01",
"firmware": {
"url": "https://server.com/fw/sibo_ai_eye_1.0.8.bin",
"sha256": "xxxx"
},
"assets": {
"url": "https://server.com/assets/eye_theme_20260401.bin",
"sha256": "yyyy"
},
"force": false
}10. 产测方案
量产时建议提供 factory 固件，覆盖以下项目：
| 测试项 | 测试内容 |
|---|---|
| 双目屏 | RGB、坏点、左右屏同步 |
| 四路触摸 | 原始值、阈值、短按、长按 |
| 震动马达 | 短震、双震、长震 |
| 三轴传感 | X/Y/Z、摇晃、翻转、倾斜 |
| 麦克风 | 录音电平、底噪 |
| 喇叭 | 提示音、音量 |
| VB6824 | 唤醒、打断、升级模式 |
| Wi-Fi | RSSI、连接、重连 |
| BLE | 广播、配网连接 |
| 电池 | ADC 电压、充电状态 |
| Flash | NVS、OTA、素材分区 |
产测命令：
{
"cmd": "factory_test",
"item": "touch"
}产测代码：
void factory_reply(const char *item, const char *result)
{
printf("{\"item\":\"%s\",\"result\":\"%s\"}\n", item, result);
}
void factory_test_screen(void)
{
lcd_fill_color(0xF800);
vTaskDelay(pdMS_TO_TICKS(300));
lcd_fill_color(0x07E0);
vTaskDelay(pdMS_TO_TICKS(300));
lcd_fill_color(0x001F);
vTaskDelay(pdMS_TO_TICKS(300));
lcd_fill_color(0x0000);
factory_reply("screen", "ok");
}
void factory_test_motor(void)
{
haptic_short();
vTaskDelay(pdMS_TO_TICKS(300));
haptic_double();
vTaskDelay(pdMS_TO_TICKS(300));
haptic_long();
factory_reply("motor", "ok");
}
void factory_test_imu(void)
{
accel_data_t acc;
if (imu_read_accel(&acc) == ESP_OK) {
printf("{\"item\":\"imu\",\"result\":\"ok\","
"\"x\":%d,\"y\":%d,\"z\":%d}\n",
acc.x, acc.y, acc.z);
} else {
factory_reply("imu", "fail");
}
}
void factory_test_touch(void)
{
int top = touch_get_raw(0);
int left = touch_get_raw(1);
int right = touch_get_raw(2);
int back = touch_get_raw(3);
printf("{\"item\":\"touch\",\"result\":\"ok\","
"\"top\":%d,\"left\":%d,\"right\":%d,\"back\":%d}\n",
top, left, right, back);
}命令分发：
void factory_handle_cmd(const char *json)
{
cJSON *root = cJSON_Parse(json);
if (!root) {
return;
}
cJSON *cmd = cJSON_GetObjectItem(root, "cmd");
cJSON *item = cJSON_GetObjectItem(root, "item");
if (!cJSON_IsString(cmd) ||
strcmp(cmd->valuestring, "factory_test") != 0 ||
!cJSON_IsString(item)) {
cJSON_Delete(root);
return;
}
if (strcmp(item->valuestring, "screen") == 0) {
factory_test_screen();
} else if (strcmp(item->valuestring, "motor") == 0) {
factory_test_motor();
} else if (strcmp(item->valuestring, "imu") == 0) {
factory_test_imu();
} else if (strcmp(item->valuestring, "touch") == 0) {
factory_test_touch();
} else if (strcmp(item->valuestring, "wifi") == 0) {
factory_test_wifi();
} else if (strcmp(item->valuestring, "vb6824") == 0) {
factory_test_vb6824();
} else {
factory_reply(item->valuestring, "unsupported");
}
cJSON_Delete(root);
}11. AI 音箱功能规划
资料中的 AI 智能音响方案提到，主要配件包括 PCBA 主板、电池包、显示屏、麦克风、喇叭、线材，功能上可支持 AI 大模型、蓝牙音响、闹钟、声音克隆、声纹识别、APP、小程序和唤醒词修改。
基于四博 AI 双目，可以规划以下功能：
AI 语音对话
声音克隆
专属知识库问答
双目情绪显示
四路触摸控制
震动反馈
摇一摇互动
翻转静音
蓝牙音箱扩展
闹钟提醒
儿童陪伴
英语练习
故事播放
MCP 控制硬件
OTA 固件升级
素材主题更新12. SKU 规划
| 版本 | 配置 | 定位 |
|---|---|---|
| Lite 版 | S3 + 0.71 双目 + 触摸 | AI 玩具、小型桌宠 |
| 标准版 | S3 + VB6824 + 1.28 双目 | AI 音箱、AI 桌宠 |
| Pro 版 | S3 + VB6824 + 1.28 双目 + 三轴 + 马达 | 陪伴机器人、IP 潮玩 |
| Vision 版 | S3 + 双目 + 摄像头 + 触摸 | 拍学机、视觉交互 |
| 运营版 | S3 + 小程序 + 声音克隆 + 知识库 + MCP | 品牌定制、客服终端 |
13. 方案总结
四博 AI 双目智能音箱的核心价值，不是简单堆硬件，而是把 语音、视觉、触摸、姿态、震动、小程序和 AI 平台 做成完整闭环。
一句话概括：
四博 AI 双目智能音箱 =
ESP32-S3 多模态主控
+ VB6824 语音前端
+ 0.71 / 1.28 双目屏
+ 四路触摸感应
+ 三轴姿态传感
+ 震动马达
+ 四博小助手小程序
+ 声音克隆 / 知识库 / MCP / OTA它可以做 AI 音箱，也可以做 AI 桌宠；可以做儿童陪伴，也可以做 IP 潮玩；可以做品牌客服终端，也可以做智能家居语音入口。
真正有竞争力的 AI 硬件，不只是"会回答问题"，而是要具备：
有眼神
有触感
有动作感知
有专属声音
有专属知识库
有持续升级能力
有量产测试体系四博 AI 双目方案，正是面向这个方向的一套高集成、高性价比、可量产的 AI 音箱技术平台。