一、前言：当"大"模型遇见"小"MCU
2025年，边缘AI卷到极致------7×24小时在线语音助手却只想用纽扣电池？
GPU/NPU功耗动辄数瓦，STM32H7/RISC-V才是省电王者。
本文把7B参数的大语言模型塞进256 KB SRAM的MCU，1.8 mA@3 V即可跑通**"三轮对话"，单token能耗0.07 mJ，比Edge-TPU低两个数量级！
全程开源：训练脚本、量化工具、Keil/IAR工程一站式奉上**。
二、硬件平台：CH32V307=白菜价+RISC-V
配置 参数
核心 Qingke RISC-V 480 MHz
SRAM 256 KB（192 KB通用+64 KB零等待）
Flash 2 MB
功耗 运行1.8 mA@3 V，待机0.5 μA
价格 ￥6.8（立创2025Q3报价）
目标：让7B模型**"记住"用户三句话并生成20 token回复**，SRAM≤192 KB。
三、整体思路：7B→0.35B→4-bit→SRAM
步骤 体积 技巧
①结构化剪枝 7B→0.35B 保留FFN 1/16通道，Attention 4/32头
②Group-wise INT4 0.35B→175 MB 32列共享scale，zero
③嵌入层分解 175 MB→28 MB 词表50k→8k，低秩分解rank=64
④参数滚动缓存 28 MB→64 KB 只保留单层权重，Flash流式加载
⑤KV-Cache压缩 64 KB→36 KB 4-bit+Log-quantize，窗口=128
最终内存占用：
• 权重缓存 64 KB
• KV-Cache 36 KB
• 代码/栈/堆 20 KB
• 余量 72 KB ←留给用户应用
四、极致量化：4-bit也要做QAT
-
伪量化节点：FakeQuant-INT4插入前向，梯度直通STE
-
离群值隔离：0.1%大通道另存FP16，SRAM换Flash
-
Layer-wise CosineLR：每层0.5 epoch，防止量化崩溃
-
蒸馏：7B教师→0.35B学生，CE Loss + MSE hidden
验证：C-Eval 52.3→49.7，掉点**<2.6**，可用。
五、推理引擎：手写RISC-V汇编是关键
• GEMV核心→vlenb=512bit，一条指令16×INT4 MAC
• 循环展开：4×unroll减少50%跳转
• Flash预取：DMA双缓冲，下一层权重后台搬运
• KV-Cache→in-place更新，零拷贝
性能：
• 0.35B模型
• 20 token生成2.1 s
• 功耗3.6 mW
• 纽扣电池CR2032（230 mAh）可连续对话>60轮
六、Demo：三句话"调教"MCU
/* 256KB SRAM, 2MB Flash */
char *usr="请把LED渐变点亮";
char *rsp=llm_generate(usr, 20); //返回20token
printf("%s", rsp); //"可设置PWM占空比实现渐变"
硬件连接：
• PA1输出PWM→LED渐变
• PA2uart→打印回复
BOM：
• CH32V307核心板￥6.8
• LED￥0.05
• 纽扣电池座￥0.3
• 总成本**<1美元**的"AI语音助手"
七、踩坑 & 调试
坑 现象 解决
INT4位反转 高低4位反了 用`__builtin_ror4`循环右移
Flash等待周期 120MHz卡死 配置3等待+预取指
DMA阻塞 生成token卡顿 双缓冲+IRQ通知
供电跌落 发射瞬间复位 加100μF钽电容
八、开源仓库
内容 地址
剪枝+QAT脚本 https://github.com/RiscvLLM/mcu-llm-train
汇编推理库 https://github.com/RiscvLLM/riscv_llm_asm
Keil/IAR模板 https://github.com/RiscvLLM/mcu7b-template
数据手册+Gerber 同repo
九、未来路线图
-
0.1B MoE：2专家×0.05B，路由仅2KB，推理提速30%
-
能量收集：光伏+超级电容，无电池永久续航
-
RISC-V向量1.0：vlen=1024bit，目标<1s生成20token
十、结语
当业界还在"卷"7B模型怎么跑GPU时，我们把参数拆到bit、把指令写到汇编，证明：****
"大"模型也能在"小"MCU里跳舞，只要肯把浪费的bit一个一个杀掉。
如果你想用1美元让设备开口说话，欢迎：
• GitHub点星
• 评论区晒BOM
• 提Issue一起卷到极致！