MCU怎么运行深度学习模型

Gitee仓库

c 复制代码
git clone https://gitee.com/banana-peel-x/freedom-learn.git

项目场景:

解决面试时遗留的问题,面试官提了两个问题:1.单片机能跑深度学习的模型吗? 2.为什么FreeRTOS要采用SVC去触发第一个任务,只用PendSV中断切换不行吗?(问题二后续研究) 问题一:当时回答的是理论上单片机挂载NPU,把数据发送给NPU的协议定好,理论上也是可以的。 本项目就从轮子出发,不借助任何库,尝试小RAM MCU部署神经网络的方法。分别在MCU和PC端进行了尝试。技术栈:多层网络感知机(MLP),正反向传播,梯度下降法。模型量化部署。结论:MCU受限于主频速率,小RAM,在推理时间,模型大小方面均存在限制,即使使用硬件加速的NPU,速率也没有优势。


软件架构

MCU端: 两个Task,StartDefaultTask控制LED,观察系统有没有挂掉。StartTask_50ms里运行reason_task,执行时机通过flag_uart1_received变量判断ReceiverState状态,flag_uart1_received变量在Uart中断切换状态。 PC端: reasoning.py运行两个线程,主线程负责PC端的推理,send_image_over_uart线程通过Uart发送图像,并监听下位机的推理结果。

bash 复制代码
NeuralNetworkFromScratch-main\train.py:使用MLP训练一组权重参数,保存到文件\result\model_parameters.npz,后在终端随机输入图片序号,进行预测,预测结果在数字上方,方便比较。
NeuralNetworkFromScratch-main\result\Tools.py:从model_parameters.npz文件中load权重参数,写入model_parameters.c文件
NeuralNetworkFromScratch-main\result\quantization.py:将model_parameters.npz提取权重参数,量化为int8类型,后写入quantized_model_parameters.c文件
NeuralNetworkFromScratch-main\result\reasoning.py:核心文件,加载量化后的参数,对权重参数反量化后推理,同时send_image_over_uart线程发送图像数据给MCU

运行reasoning.py后,选择图片序号,终端打印预测概率,关闭窗口后send_image_over_uart线程发送图像给MCU端,发送完成后会监听下位机返回数据,并在终端打印。




细节:

1.不量化行不行:STM32F103C8T6又64K的ROM和20K的RAM,不量化权重参数会占用:(784x10+10+10x10+10)x4=31840 Bytes=31KB。量化后权重参数占用空间:7.7KB。

2.为什么网络参数是 输入层到隐藏层10个神经元,隐藏层到输出层10个神经元,原始网络分别是20,10。这样的话很容易超出RAM大小。

相关推荐
HyperAI超神经2 小时前
【Triton 教程】triton_language.fdiv
人工智能·深度学习·triton
遥感知识服务3 小时前
从局部阈值、双极化到暗地表剔除:NASA OPERA DSWx-S1全球动态水体算法拆解
大数据·人工智能·深度学习·神经网络·算法·机器学习
jeffsonfu4 小时前
循环神经网络(RNN)详解:处理序列数据的自然选择
人工智能·深度学习
恒锐丰小瑞5 小时前
率能SS8841T 40V/2.5A/双通道H桥驱动芯片,PWM控制接口与低导通电阻(350mΩ),用于POS打印机/安防相机/机器人
单片机·嵌入式硬件·机器人
Web3&Basketball5 小时前
vLLM部署开源大模型实战:显存、命令与成本核算
人工智能·深度学习·大模型·ai技术·vllm
lancyu6 小时前
关于多轮对话机器人的上下文Token优化和解决方案
人工智能·python·深度学习·机器学习·chatgpt·机器人·prompt
xier_ran6 小时前
【infra之路】GPU 执行与存储层次全景关系图
人工智能·深度学习·cuda
zcmodeltech6 小时前
钢铁冶金沙盘模型控制系统设计与实现:高炉-连铸-热轧多工序联动方案
分布式·stm32·单片机·嵌入式硬件·交互
老郑聊AI业财智造7 小时前
Transformer 技术架构与源码分析
人工智能·python·深度学习·语言模型·架构·transformer·软件工程
徽京人7 小时前
VS Code 接入Esp 32步骤
vscode·单片机·嵌入式硬件