大家好,我是子衡,嵌入式 AI 工程师,《嵌入式AI:让单片机学会思考》主理人,专注AI在MCU上的落地实践。
零基础速通嵌入式AI(关注我免费领取嵌入式AI资料)
提到边缘AI的项目,学员问的比较多的问题是:
"你做的嵌入式AI产品的算力是多少?",
"芯片主频多高?",
"有没有 NPU?",
"模型能不能再压小一点?",
"推理能不能再快一点?",
"INT8 还能不能继续优化?"。
这些当然重要,但如果真的站在产品落地的角度去看,你会发现:很多系统最后做得不够聪明,并不是因为它不会算,而是因为它不会处理数据。
它不知道哪些数据值得采,哪些数据应该丢,哪些数据要立刻分析,哪些数据只需要在异常发生时保留证据,哪些数据可以在本地变成一个特征值再上传,哪些数据根本没必要离开设备。
这才是边缘AI真正拉开差距的地方。
1.真正的价值,不只是把模型搬到设备端
过去很长一段时间,很多智能系统默认采用一种思路:
设备负责采集,云端负责理解。传感器不断产生原始数据,设备把这些数据往上送,服务器再做识别、判断和分析。
这套模式在很多场景里确实成立,但它也天然带来几个问题。
-
延迟不可预测,
-
网络一断能力就下降,
-
原始数据出设备会带来隐私和安全压力,
-
无线传输本身还很耗能。
很多时候,问题根本不在模型,而在这条又长又重的数据链路本身。
所以,边缘AI真正有价值的地方,从来不只是把云上的模型缩小后搬到设备里,而是把原来那条数据链路重构掉。
真正聪明的边缘AI,不是见到数据就全收,听到声音就全传,采到波形就全部上传,而是先判断:这段数据到底值不值得继续处理。
2 一个成熟的嵌入式AI系统,一定有完整的数据管理闭环
所以现在再去看一个嵌入式AI系统是否成熟,不能只看准确率、模型大小和推理时间,还要看它有没有建立完整的数据管理闭环。
这个闭环至少要回答这些很现实的问题:
-
设备平时保留什么数据,保留多久;
-
什么条件下提高采样精度;
-
什么条件下触发本地推理;
-
什么结果需要立刻执行动作;
-
什么结果需要上传云端;
-
上传的是原始数据、特征、事件还是摘要;
-
异常发生前后是否保留证据窗口;
-
云端返回的更新策略,又如何重新作用到设备侧。
当这些问题没有被想清楚时,所谓边缘AI,往往只是一个"能跑模型"的演示系统。
模型也许已经跑起来了,但系统并没有因此变聪明,因为它依然在用最昂贵、最笨重、最不节制的方式处理数据。
而当这些问题被真正想清楚之后,你会发现,边缘AI带来的变化非常大。设备不再只是一个数据搬运工,而开始具备信息筛选能力;MCU 不再只是按时采样、按时上报,而开始能够区分背景噪声和关键信号;云端不再接收海量无差别数据,而开始接收更稀缺、更有上下文、更值得分析的内容。系统也会从"看上去很智能",变成"长期运行依然可靠"。
真正优秀的边缘AI系统,一定是:
懂得数据应该怎么处理,并且在离数据最近的地方,先完成第一轮判断;
如果你今天正在做 MCU 上的 AI 项目,我反而建议你先不要急着问该选 CNN 还是 MLP,还能不能继续量化。更值得先问的是下面的几个问题:
-
你的设备到底在采什么数据
-
为什么采这些数据
-
这些数据里哪些真正有价值
-
哪些应该尽早在本地结束
-
哪些应该变成特征
-
哪些应该变成事件
-
哪些才值得被上传。
这个问题想透了,后面的模型、算力、框架和芯片,才会真正各就其位。