端侧 Agent 跑在 MCU 上,最怕的不是模型不够强,而是工具调用失控、上下文撑爆内存。一套六层架构给出了可抄的限流参数。
📌 全文 6 节 · 一句话主线:用「轮次上限 + 单工具次数 + 上下文裁剪」三道闸,把 Agent 行为约束在 MCU 能承受的范围内。
🎯 一、问题现场
在 Cortex-M55 + Ethos-U55 的板子上跑一个端侧 Agent,让它根据传感器数据做融合判断。跑几轮没问题,跑到第 50 轮开始失忆:前面的关键约束全忘了,还反复调用同一个 MQTT 工具,把队列塞满。MCU 的 SRAM 就几 MB,上下文不裁剪很快见底。
难查在于,问题不是崩溃而是「行为退化」------模型还在正常回答,只是越来越偏离目标。你很难判断是模型能力问题还是上下文管理问题。实际上,绝大多数这类退化都能靠工程约束解决,跟模型本身关系不大。
🔢 二、关键参数
| 参数 | 典型值/范围 | 影响什么 | 出处 |
|---|---|---|---|
| 硬件平台 | PSoC E84:M55+Helium、M33、Ethos-U55、6MB SRAM | 决定可跑的模型与上下文上限 | 官方 大赛特等奖技术拆解 |
| OS | RT-Thread 5.0.2 | 线程/邮箱调度 | 官方 |
| AgentLoop 线程 | 栈 10KB、优先级 10、单线程串行 | 会话处理方式 | 官方 |
| 输入输出 mailbox | 深度各 10,满则丢消息并记日志 | 背压策略 | 官方 |
| 每轮请求上限 | 最多向大模型发 6 次请求 | 防止请求失控 | 官方 |
| 单工具执行上限 | 同一工具最多 3 次 | 防重复调用 | 官方 |
| 上下文裁剪 | 每轮裁到 16 条,system prompt 常驻 | 控制内存与失忆 | 官方 |
| 工具注册数 | 10 个(3 示例 + 7 MQTT) | 能力边界 | 官方 |
怎么读这张表:三道闸分别对应三行------「每轮 6 次请求」管总量、「同一工具 3 次」管重复、「裁剪到 16 条」管内存。单线程串行 + mailbox 深度 10 是背压设计,队列满就丢消息,而不是无限堆积把 SRAM 吃光。这些数字来自公开的技术拆解,可作为起步参考,不是普适最优值。
💻 三、最小可运行实现
以 RT-Thread 5.0.2 上的 AgentLoop 线程(伪代码/调用序列示意)为例:
c
/* 依赖:RT-Thread 5.0.2,Agent-latest 软件包(只读引入) */
#define MAX_REQ_PER_ROUND 6 /* 每轮最多 6 次模型请求 */
#define MAX_SAME_TOOL 3 /* 同一工具最多执行 3 次 */
#define CONTEXT_KEEP 16 /* 上下文裁到 16 条 */
#define MAILBOX_DEPTH 10 /* 队列满则丢并记日志 */
static void agent_loop_thread(void *param) {
while (1) {
struct msg *m = recv_mailbox(in_mail, MAILBOX_DEPTH); /* 满则丢 */
int req_count = 0, tool_count[TOOL_NUM] = {0};
char *ctx = load_context(CONTEXT_KEEP); /* system prompt 常驻 */
while (req_count++ < MAX_REQ_PER_ROUND) {
struct action a = llm_decide(ctx, m);
if (is_dup_signature(a)) continue; /* 签名重复的调用直接跳过 */
if (tool_count[a.id]++ >= MAX_SAME_TOOL) break;
dispatch_tool(a); /* 10 个注册工具之一 */
}
save_context(trim(ctx, CONTEXT_KEEP));
}
}
/* 线程栈 10KB、优先级 10;输入输出 mailbox 深度各 10 */
预期输出:单轮对话模型请求不超过 6 次,同一工具调用不超过 3 次,上下文长度稳定在 16 条以内,SRAM 占用不再随对话轮次增长。以上为调用序列示意,非实测日志。
⚠️ 四、三个必踩的坑
坑一:不裁剪上下文,跑到第 50 轮失忆。
现象:模型越来越偏离目标,关键约束丢失。原因:上下文随轮次增长,超出 MCU 内存后被截断,约束被挤掉。规避:每轮裁到固定条数(如 16 条),system prompt 常驻不参与裁剪。
坑二:同一工具反复调用,队列塞满。
现象:MQTT 工具被重复执行,订阅队列爆满。原因:模型对工具结果不满意会重试,没有次数上限。规避:设单工具执行上限(如 3 次),参数签名完全重复的调用直接跳过。
坑三:broker 用明文 TCP,规模化有风险。
现象:多节点接入时账号密码明文传输。原因:公开方案里 broker 是明文 TCP + 账号密码鉴权。规避:正式部署前补 TLS 或做账号隔离;TTS、NPU 推理等预留项也要单独评估。
📋 五、上手核对清单
- 给 AgentLoop 分配独立线程(栈 10KB、优先级 10 起步)
- 输入输出 mailbox 设深度上限,满则丢并记日志
- 设每轮模型请求次数上限
- 设单工具执行次数上限,跳过重复签名调用
- 每轮裁剪上下文,system prompt 常驻
- 正式部署前为 broker 补 TLS 或账号隔离
💡 六、结论与边界
以上架构层数、线程参数、请求/工具上限与上下文裁剪值来自 2026 RT-Thread 嵌入式大赛特等奖作品的公开技术拆解,属 [官方];这些是特定项目的工程选择而非通用最优,移植到其他 MCU 请按第五节清单结合自身 SRAM 预算重新标定。