MCU怎么运行深度学习模型

Gitee仓库

c 复制代码
git clone https://gitee.com/banana-peel-x/freedom-learn.git

项目场景:

解决面试时遗留的问题,面试官提了两个问题:1.单片机能跑深度学习的模型吗? 2.为什么FreeRTOS要采用SVC去触发第一个任务,只用PendSV中断切换不行吗?(问题二后续研究) 问题一:当时回答的是理论上单片机挂载NPU,把数据发送给NPU的协议定好,理论上也是可以的。 本项目就从轮子出发,不借助任何库,尝试小RAM MCU部署神经网络的方法。分别在MCU和PC端进行了尝试。技术栈:多层网络感知机(MLP),正反向传播,梯度下降法。模型量化部署。结论:MCU受限于主频速率,小RAM,在推理时间,模型大小方面均存在限制,即使使用硬件加速的NPU,速率也没有优势。


软件架构

MCU端: 两个Task,StartDefaultTask控制LED,观察系统有没有挂掉。StartTask_50ms里运行reason_task,执行时机通过flag_uart1_received变量判断ReceiverState状态,flag_uart1_received变量在Uart中断切换状态。 PC端: reasoning.py运行两个线程,主线程负责PC端的推理,send_image_over_uart线程通过Uart发送图像,并监听下位机的推理结果。

bash 复制代码
NeuralNetworkFromScratch-main\train.py:使用MLP训练一组权重参数,保存到文件\result\model_parameters.npz,后在终端随机输入图片序号,进行预测,预测结果在数字上方,方便比较。
NeuralNetworkFromScratch-main\result\Tools.py:从model_parameters.npz文件中load权重参数,写入model_parameters.c文件
NeuralNetworkFromScratch-main\result\quantization.py:将model_parameters.npz提取权重参数,量化为int8类型,后写入quantized_model_parameters.c文件
NeuralNetworkFromScratch-main\result\reasoning.py:核心文件,加载量化后的参数,对权重参数反量化后推理,同时send_image_over_uart线程发送图像数据给MCU

运行reasoning.py后,选择图片序号,终端打印预测概率,关闭窗口后send_image_over_uart线程发送图像给MCU端,发送完成后会监听下位机返回数据,并在终端打印。




细节:

1.不量化行不行:STM32F103C8T6又64K的ROM和20K的RAM,不量化权重参数会占用:(784x10+10+10x10+10)x4=31840 Bytes=31KB。量化后权重参数占用空间:7.7KB。

2.为什么网络参数是 输入层到隐藏层10个神经元,隐藏层到输出层10个神经元,原始网络分别是20,10。这样的话很容易超出RAM大小。

相关推荐
xiao5kou4chang6kai414 小时前
MATLAB机器学习、深度学习--从数据预处理到模型训练
深度学习·机器学习·matlab·数据预处理
✎ ﹏梦醒͜ღ҉繁华落℘14 小时前
单片机基础知识---stm32单片机的优先级
stm32·单片机·mongodb
renhongxia115 小时前
世界模型作为AGI落地底层底座的作用
人工智能·深度学习·生成对抗网络·自然语言处理·知识图谱·agi
计算机科研狗@OUC15 小时前
(cvpr26) AIMDepth: Asymmetric Image-Event Mamba for Monocular Depth Estimation
人工智能·深度学习·计算机视觉
u1521096484916 小时前
S.S.Audio PRO A2音频隔离器
嵌入式硬件·音视频·实时音视频·视频编解码·视频
zd84510150016 小时前
RS485 总线详解
单片机·嵌入式硬件
半条-咸鱼17 小时前
【STM32】I2C协议原理、HAL读写与OLED显示操作
嵌入式硬件·c·信息与通信
wohoo_wangzi18 小时前
苏州晟雅泰电子:关于W25Q128JVSIQ这个芯片物料的参数,规格及应用领域
嵌入式硬件
β添砖java18 小时前
深度学习(22)网络中的网络NiN
人工智能·深度学习
Kobebryant-Manba19 小时前
深度学习时候d2l报错和使用问题
人工智能·深度学习