MCU怎么运行深度学习模型

Gitee仓库

c 复制代码
git clone https://gitee.com/banana-peel-x/freedom-learn.git

项目场景:

解决面试时遗留的问题,面试官提了两个问题:1.单片机能跑深度学习的模型吗? 2.为什么FreeRTOS要采用SVC去触发第一个任务,只用PendSV中断切换不行吗?(问题二后续研究) 问题一:当时回答的是理论上单片机挂载NPU,把数据发送给NPU的协议定好,理论上也是可以的。 本项目就从轮子出发,不借助任何库,尝试小RAM MCU部署神经网络的方法。分别在MCU和PC端进行了尝试。技术栈:多层网络感知机(MLP),正反向传播,梯度下降法。模型量化部署。结论:MCU受限于主频速率,小RAM,在推理时间,模型大小方面均存在限制,即使使用硬件加速的NPU,速率也没有优势。


软件架构

MCU端: 两个Task,StartDefaultTask控制LED,观察系统有没有挂掉。StartTask_50ms里运行reason_task,执行时机通过flag_uart1_received变量判断ReceiverState状态,flag_uart1_received变量在Uart中断切换状态。 PC端: reasoning.py运行两个线程,主线程负责PC端的推理,send_image_over_uart线程通过Uart发送图像,并监听下位机的推理结果。

bash 复制代码
NeuralNetworkFromScratch-main\train.py:使用MLP训练一组权重参数,保存到文件\result\model_parameters.npz,后在终端随机输入图片序号,进行预测,预测结果在数字上方,方便比较。
NeuralNetworkFromScratch-main\result\Tools.py:从model_parameters.npz文件中load权重参数,写入model_parameters.c文件
NeuralNetworkFromScratch-main\result\quantization.py:将model_parameters.npz提取权重参数,量化为int8类型,后写入quantized_model_parameters.c文件
NeuralNetworkFromScratch-main\result\reasoning.py:核心文件,加载量化后的参数,对权重参数反量化后推理,同时send_image_over_uart线程发送图像数据给MCU

运行reasoning.py后,选择图片序号,终端打印预测概率,关闭窗口后send_image_over_uart线程发送图像给MCU端,发送完成后会监听下位机返回数据,并在终端打印。




细节:

1.不量化行不行:STM32F103C8T6又64K的ROM和20K的RAM,不量化权重参数会占用:(784x10+10+10x10+10)x4=31840 Bytes=31KB。量化后权重参数占用空间:7.7KB。

2.为什么网络参数是 输入层到隐藏层10个神经元,隐藏层到输出层10个神经元,原始网络分别是20,10。这样的话很容易超出RAM大小。

相关推荐
灵智工坊LingzhiAI2 小时前
基于深度学习的中草药识别系统:从零到部署的完整实践
人工智能·深度学习
Ronin-Lotus12 小时前
嵌入式硬件篇---手柄
嵌入式硬件·手柄
SHIPKING39313 小时前
【机器学习&深度学习】LMDeploy的分布式推理实现
人工智能·深度学习
芯岭技术13 小时前
普冉PY32F002A单片机用LPTIM唤醒stop模式
单片机·嵌入式硬件
DIY机器人工房14 小时前
QT代码框架小案例:一个简单的时间类(Time)及其实例化程序,模拟了时间的设置、显示和自动流逝功能,类似一个简易电子时钟。
stm32·单片机·嵌入式硬件·嵌入式·diy机器人工房
兔子的倔强14 小时前
Transformer在文本、图像和点云数据中的应用——经典工作梳理
人工智能·深度学习·transformer
lxmyzzs15 小时前
【图像算法 - 21】慧眼识虫:基于深度学习与OpenCV的农田害虫智能识别系统
人工智能·深度学习·opencv·算法·yolo·目标检测·计算机视觉
AI人工智能+15 小时前
表格识别技术:通过图像处理与深度学习,将非结构化表格转化为可编辑结构化数据,推动智能化发展
人工智能·深度学习·ocr·表格识别
codeyanwu17 小时前
nanoGPT 部署
python·深度学习·机器学习
欧阳小猜17 小时前
深度学习②【优化算法(重点!)、数据获取与模型训练全解析】
人工智能·深度学习·算法