环境介绍
开发板:Huawei Atals 200I DK A2
内存:4G
NPU:Ascend 310B4
CANN:7.0
准备环境
下载编译好的torch_npu
bash
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/torch_npu-2.1.0rc1-cp39-cp39-linux_aarch64.whl
pip3 install torch_npu-2.1.0rc1-cp39-cp39-linux_aarch64.whl
安装PyTorch2.1.0、torchvision0.16.0
bash
pip install torch==2.1.0 torchvision==0.16.0
设置环境变量
bash
export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub
安装ACLLite库
安装ffmpeg
Ubuntu
bash
apt-get install ffmpeg libavcodec-dev libswscale-dev libavdevice-dev
欧拉系统
bash
yum install ffmpeg ffmpeg-devel
将yum安装的opencv头文件软链到系统能默认识别的路径
bash
ln -s /usr/include/ffmpeg/* /usr/include/
源码安装方式:
bash
wget https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.gz
tar -zxvf ffmpeg-4.2.9.tar.gz
cd ffmpeg-4.2.9
./configure --disable-static --enable-shared --disable-doc --enable-ffplay --enable-ffprobe --enable-avdevice --disable-debug --enable-demuxers --enable-parsers --enable-protocols --enable-small --enable-avresample
make -j8
make install
为保证程序能识别动态库,请在/etc/ld.so.conf.d下添加ffmpeg.conf配置
bash
cd /etc/ld.so.conf.d
vim ffmpeg.conf
添加内容
/usr/local/lib
生效配置文件:
bash
ldconfig
设置ffmpeg安装路径环境变量,请替换为ffmpeg的实际安装路径
export FFMPEG_PATH=/usr/local/lib
克隆ACLLite代码仓
bash
git clone https://gitee.com/ascend/ACLLite.git
cd ACLLite
安装
bash
bash build_so.sh
安装依赖
克隆代码仓
bash
git clone https://gitee.com/ascend/EdgeAndRobotics/
进入代码文件夹
bash
cd EdgeAndRobotics/Samples/HandWritingTrainAndInfer
安装依赖
bash
pip3 install -r requirements.txt
模型训练
设置环境变量减小算子编译内存占用
bash
export TE_PARALLEL_COMPILER=1
export MAX_COMPILE_CORE_NUMBER=1
运行训练脚本
bash
python main.py
开始运行
NPU使用情况
在线推理
训练生成的mnist.pt转换mnist.onnx模型
bash
python3 export.py
获取测试图片
bash
cd data
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/mnist/8.jpg
测试图片:
执行在线推理
bash
cd ../onnxInfer/
python3 infer.py
推理结果
[image_path:data/8.jpg] [inferssession_time:1349 pictures/s] [output:8]
离线推理
获取测试图片
bash
cd omInfer/data
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/mnist/8.jpg
获取PyTorch框架的ResNet50模型(.onnx),并转换为昇腾AI处理器能识别的模型( .om)
为了方便下载,在这里直接给出原始模型下载及模型转换命令,可以直接拷贝执行。
将在线推理时导出的mnist.onnx模型拷贝到model目录下
bash
cd ../model
cp ../../mnist.onnx ./
获取AIPP配置文件
bash
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/mnist/ecs/aipp.cfg
模型转换
bash
atc --model=mnist.onnx --framework=5 --insert_op_conf=aipp.cfg --output=mnist --soc_version=Ascend310B4
编译样例源码
bash
cd ../scripts
bash sample_build.sh
运行样例
bash
bash sample_run.sh
运行结果
[INFO] value[1.000000] output[8]