ESP-Claw 全面升级,打造可共享、可复用的设备端 AI Skills 生态

乐鑫信息科技 (688018.SH) 正式发布 ESP-Claw 全新升级版本,围绕设备端 AI Agent 的开发体验进行了全面优化。新版本新增 Skills Lab 技能商店、多 Agent 协同执行、增强的上下文管理、Lua 异步运行时、更丰富的外设支持以及在线刷机等能力,进一步提升 AI Agent 的开发效率、扩展能力与部署体验。

ESP-Claw 是乐鑫推出的面向 AIoT 设备的 Chat Coding AI Agent 框架。它采用 LLM + Lua 混合架构,使开发者能够通过自然语言定义设备行为,并在 ESP SoC 上完成感知、推理、决策与执行的完整流程。

本次升级进一步增强了设备端 AI Agent 的工程化能力,在任务规划、上下文管理、脚本执行、外设控制及能力复用等方面均得到完善,为构建长期运行、可持续扩展的 AIoT 应用提供了更完整的基础能力。

ESP-CLAW 升级重点优势

面对边缘设备的资源约束、实时性要求和隐私敏感性,升级版 ESP-Claw 提供了四项核心优势:

1. Skills Lab:构建可共享、可复用的设备能力

本次更新推出了全新的 Skills Lab 技能商店。 开发者可以在 Skills Lab 中浏览、搜索、安装和分享 ESP-Claw Skill,同时也可以直接通过 ESP-Claw 从云端安装对应 Skill。

ESP-Claw Skill 不仅包含 Skill 描述,还可以同时封装 Lua 脚本 、静态资源、调用示例、外设依赖及能力声明等信息,使 LLM 能够理解 Skill 的适用场景、输入参数、工具调用方式及异常处理逻辑,从而实现真正可复用的设备能力。

目前,Skills Lab 已包含游戏、工具、网络、媒体、传感器、AI、UI 和硬件等多个类别的 Skill。例如,开发者可以下载安装摄像头预览、运动检测、天气查询、A 股行情、GitHub Star 查询、Bilibili 粉丝数查询、网络电台、Servo Dog 四舵机机器狗控制等技能。此外,Skills Lab 还支持 Skills 仿真,对于 UI 类的 Skill 开发者还可以网页端在线体验。

通过 Skills Lab,开发者可以将项目中的脚本和硬件适配封装为 Skill 并分享给社区,其他开发者则可以直接安装复用,进一步提升 AIoT 应用开发效率。
Skills Lab "Flappy Bird" 展示

2. Agent Core 升级:支持更复杂、更连续的设备端任务

在 Agent Core 层面,此次升级带来了多 Agent 执行能力,并可实时跟踪子 Agent 进度。主 Agent 可以将搜索、调试、代码生成或硬件验证等任务拆分给子 Agent 执行,并在任务完成后汇总结果,让 ESP-Claw 在处理长链路、多步骤任务时具备更好的组织能力。

同时,上下文管理能力得到增强。系统可以按需构建符合当前任务的提示词,优化前缀一致性以提升缓存命中率,保留最近的工具调用历史,并在上下文变长时进行自动压缩。这些改进有助于降低复杂任务中的上下文成本,并提升连续交互的稳定性。

升级后的 ESP-Claw 还支持异常 Agent Loop 退出后的上下文和工作状态恢复,并支持会话中断与会话切换。用户可以通过 /session 创建、查看、切换和删除会话,使不同项目、不同设备或不同场景之间保持上下文隔离。例如,一个会话可以用于天气屏开发,另一个会话用于传感器监控,第三个会话用于外设调试,彼此互不干扰。

此外,ESP-Claw 通过结构化长期记忆和会话历史机制,让设备能够持续理解用户偏好、硬件连接信息和跨任务约定。其记忆系统采用摘要标签与按需召回机制,不依赖向量数据库,更适合 MCU 资源受限的设备环境。
支持 Plan Mode,ESP-Claw 根据实际的硬件给出方案分工与风险点

3. Lua Runtime 升级:从演示走向工程化落地

Lua Runtime 在本次更新中新增了异步执行能力。开发者可以将动画渲染、音频播放、传感器监听、屏幕仪表盘等长期运行任务作为异步 Job 启动,并支持查询运行状态、停止任务及查看执行日志。异步运行期间,脚本输出会自动保存,方便后续调试。

作为设备侧执行层,Lua 负责 GPIO、I2C、显示、摄像头、音频等硬件控制,而 LLM 则负责生成对应逻辑。对于固定业务逻辑,也可以将 Lua 脚本直接作为本地规则运行,实现无需 LLM 参与的低延迟自动化控制。

为了提升长期运行可靠性,此次升级还引入了基于 PSRAM 的 RAMfs 虚拟文件系统,用于降低 Flash I/O 延迟和 Flash 磨损;同时支持分区故障时自动恢复关键文件,减少因文件系统损坏导致启动循环的风险。升级后的 ESP-Claw 兼容 ESP-IDF v5.5.4 和 v6,为开发者跟进最新 IDF 框架版本提供基础。
定时拉取股市信息并显示,支持在触发对应条件时通知用户
ESP-Claw 拉取云端音频流并播放

4. 外设与联网能力:更丰富的硬件与云端连接

在外设能力方面,升级后的 ESP-Claw 支持通过 Lua 访问 I2C、UART、MCPWM、PCNT、RMT、ADC、USB、BLE HID 等外设能力,并支持 USB 摄像头、USB 麦克风/扬声器、LCD 显示、触摸输入、WS2812 LED、红外、IMU、环境传感器、磁力计、电池电量计等模块。同时新增 LVGL 图形界面能力,开发者可以通过 Lua 绘制 UI,并用 Lua 处理触摸输入。

联网和 Web 能力同样得到增强。ESP-Claw 支持 HTTP Client 与 HTTP Server,Lua 脚本可以通过受控的 HTTP 能力拉取外部信息,例如天气、股票、仓库更新或媒体资源;也可以在设备端启动 Web 控制面板,为硬件项目提供浏览器交互界面。HTTP 连接复用能力则有助于降低重复请求的延迟。

ESP-CLAW 硬件选型推荐

此次升级通过 ESP Board Manager 和社区贡献,将支持的开发板扩展到 20 多款,覆盖 ESP32-S31ESP32-S3ESP32-P4ESP32-C5 等芯片平台;同时包含乐鑫官方板以及 M5Stack、DFRobot、LilyGO、Waveshare 等生态板适配。随着更多开发板和外设适配持续加入,ESP-Claw 将进一步降低 AIoT 原型开发和硬件创新的门槛。

对于希望获得开箱即用体验的用户,我们推荐乐鑫全新推出的ESP-Ditto。该硬件是围绕 ESP-Claw 打造的智能硬件平台,致力于拓展 ESP-Claw 在不同场景下的应用边界。

ESP-Ditto 搭载 ESP32-C5,集成屏幕、扬声器、麦克风和摄像头等丰富外设,并提供多种扩展接口,是一款面向桌面场景的全能型智能终端,能够充分释放 ESP-Claw 在感知、交互与硬件扩展方面的潜力。

ESP-Ditto-Lite 则配备电池与磁吸结构,更加轻巧便携,是面向户外及移动场景的随身智能终端,让 ESP-Claw 融入更多使用环境,探索更丰富的应用可能。

立即体验全新 ESP-CLAW

ESP-Claw 支持在线烧录和配置流程。开发者可以通过在线烧录页面连接支持的 ESP 开发板,在浏览器内完成固件烧录,并继续进行 Wi-Fi 初始化和设备配置。

想要深入了解框架设计与使用方法的开发者,可以查阅全新上线的 ESP-Claw 图文文档,从环境搭建到 Skill 开发均有详细说明。
升级版 ESP-Claw 架构图

开发者可以访问 ESP-Claw 官网了解项目全貌,前往 ESP-Claw GitHub 仓库获取源码并参与共建,查看本次更新的完整 Release 说明,或直接进入 Skills Lab 搜索、安装适合自己项目的技能。

此次升级致力于把大模型交互、设备端脚本执行、外设控制、技能复用和在线体验整合到 ESP 生态中,让开发者可以更快把创意变成可运行的边缘智能应用。

相关推荐
CHY_1281 小时前
Arm Ethos‑U65:YOLOv8n 模型准备与 Vela 编译
arm开发·人工智能·yolo·目标检测
蜜桃味女焊匠人2 小时前
2026焊接保护气体降耗最优改造方案
人工智能·经验分享·其他·机器人
冬奇Lab2 小时前
开源项目第162期:code-review-graph — 给 AI 代码审查建一张代码结构地图,减少 82 倍 Token 消耗
人工智能
tntxia2 小时前
自然语言处理发展历程
人工智能
观远数据2 小时前
消费品牌选型BI的能力边界:三类差异化场景的适配清单与排除项
数据库·人工智能·microsoft
冬奇Lab2 小时前
AI 评测系列(01):为什么 AI 评测难——不确定性、主观性与多维度
人工智能
B8017913Y2 小时前
2026记者采访适用,在线录音转换成文字帮你高效整理访谈内容
人工智能
鼎艺创新科技2 小时前
WAIC 2026观察:应急AI三维沙盘避坑 拆解3DGIS+AI真落地的3个核心技术门槛
大数据·人工智能·国产化·电子沙盘·三维电子沙盘