【环境搭建】(九)飞桨EasyDL发布的模型转换onnx(附工程代码)

一、paddle转onnx转rknn环境搭建

paddle转onnx和onnx转rknn两个环境可以分开搭建,也可以搭建在一起。这里选择分开搭建,先搭建paddle转onnx。

1.1、创建环境

选择python3.8.13包进行创建环境

bash 复制代码
conda create --name paddle2rknn libprotobuf python==3.9

1.2、进入环境

命令如下:

bash 复制代码
conda activate paddle2rknn

1.3、RKNN-Toolkit2工具安装

RKNN-Toolkit2是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,RKNN-Toolkit2适用于RK3566、RK3568、RK3588/RK3588S、RV1103、RV1106等型号的芯片。RKNN-Toolkit2的适配文件可以从下方链接获取:

附件8:rknn-toolkit2资源-CSDN下载https://download.csdn.net/download/XiaoBai_Steve/92728866?spm=1001.2014.3001.5501 下载解压后这里RKNN-Toolkit2的根目录为./rknn-toolkit2/packages/。目前提供两种方式安装RKNN-Toolkit2:一是通过Python包安装与管理工具pip进行安装;二是运行带完整RKNN-Toolkit2工具包的docker镜像。本文采用第一种方式。

切换到RKNN-Toolkit2根目录:

bash 复制代码
cd /home/ub/下载/rknn-toolkit2/rknn-toolkit2/packages/

安装依赖,因为我们环境的python版本是3.10.0,所以这里执行:

bash 复制代码
pip install -r requirements_cp39-1.6.0.txt

安装RKNN-Toolkit2:

bash 复制代码
pip install rknn_toolkit2-1.6.0+81f21f4d-cp39-cp39-linux_x86_64.whl

1.4、paddle2onnx工具安装

查看paddle2onnx可安装版本:

bash 复制代码
pip index versions paddle2onnx

默认安装的就是最新版本,这里指定1.0.8版本,否则会因为onnx版本版本太高,与RKNN-Toolkit2不兼容:

bash 复制代码
pip install paddle2onnx==1.0.8

1.5、解决相关依赖问题

到此,paddle转onnx转rknn环境基本搭建完成,但是还要解决一下包依赖的问题。

安装pip依赖查看工具:

bash 复制代码
pip install pipdeptree

查看依赖关系:

bash 复制代码
pipdeptree -p paddle2onnx

根据终端打印的内容进行包的安装和版本更换。

bash 复制代码
pip install /*包名*/==/*版本号*/

二、模型转换

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署,包括 TensorRT/OpenVINO/MNN/TNN/NCNN,以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。Paddle2ONNX包可通过如下连接下载:

附件9:Paddle2ONNX资源-CSDN下载https://download.csdn.net/download/XiaoBai_Steve/92728870?spm=1001.2014.3001.5501

2.1、获取PaddlePaddle部署模型

Paddle2ONNX 在导出模型时,需要传入部署模型格式,包括两个文件

a).**model_name.pdmodel:**表示模型结构

b).**model_name.pdiparams:**表示模型参数 [注意] 这里需要注意,两个文件其中参数文件后辍为 .pdiparams,如你的参数文件后辍是 .pdparams,那说明你的参数是训练过程中保存的,当前还不是部署模型格式。 部署模型的导出可以参照各个模型套件的导出模型文档。

2.2、命令行模型转换

指令paddle2onnx相关参数如下表:

|--------------------------------|------------------------------------------------------------------------------------------------------------------|
| 参数 | 参数说明 |
| --model_dir | 配置包含 Paddle 模型的目录路径 |
| --model_filename | **[可选]**配置位于 --model_dir 下存储网络结构的文件名 |
| --params_filename | **[可选]**配置位于 --model_dir 下存储模型参数的文件名称 |
| --save_file | 指定转换后的模型保存目录路径 |
| --opset_version | **[可选]**配置转换为 ONNX 的 OpSet 版本,目前支持 7~16 等多个版本,默认为 9 |
| --enable_dev_version | **[可选]**是否使用新版本 Paddle2ONNX(推荐使用),默认为 True |
| --enable_onnx_checker | **[可选]**配置是否检查导出为 ONNX 模型的正确性, 建议打开此开关, 默认为 False |
| --enable_auto_update_opset | **[可选]**是否开启 opset version 自动升级功能,当低版本 opset 无法转换时,自动选择更高版本的 opset进行转换, 默认为 True |
| --deploy_backend | **[可选]**量化模型部署的推理引擎,支持 onnxruntime、tensorrt 或 others,当选择 others 时,所有的量化信息存储于 max_range.txt 文件中,默认为 onnxruntime |
| --save_calibration_file | **[可选]**TensorRT 8.X版本部署量化模型需要读取的 cache 文件的保存路径,默认为 calibration.cache |
| --version | [可选] 查看 paddle2onnx 版本 |
| --external_filename | **[可选]**当导出的 ONNX 模型大于 2G 时,需要设置 external data 的存储路径,推荐设置为:external_data |
| --export_fp16_model | **[可选]**是否将导出的 ONNX 的模型转换为 FP16 格式,并用 ONNXRuntime-GPU 加速推理,默认为 False |
| --custom_ops | **[可选]**将 Paddle OP 导出为 ONNX 的 Custom OP。 例如:--custom_ops '{"paddle_op":"onnx_op"},默认为 {} |

模型转换指令:

bash 复制代码
paddle2onnx --model_dir models --model_filename model.pdmodel --params_filename model.pdiparams --opset_version 12 --save_file saveonnx/model.onnx --enable_onnx_checker True

转换结果在./Paddle2ONNX/saveonnx/model.onnx

相关推荐
星浩AI2 小时前
现在最需要被 PUA 的,其实是 AI
人工智能·后端·github
superior tigre2 小时前
CUDA算子开发(LLM方向)常见的一些术语
人工智能·加速推理
weixin_463923422 小时前
知网更新后,这4种降AI方法已失效!
人工智能
WenGyyyL2 小时前
ColBERT论文研读——NLP(IR)里程碑之作
人工智能·python·语言模型·自然语言处理
彩旗工作室2 小时前
Cursor 全面深度指南:从诞生到实战,AI 编程时代的终极武器
人工智能·ai编程
新新学长搞科研2 小时前
第五届电子、集成电路与通信技术国际学术会议(EICCT 2026)
运维·人工智能·自动化·集成测试·信号处理·集成学习·电气自动化
华奥系科技2 小时前
智慧经济新格局:解码社区、园区与城市一体化建设逻辑
大数据·人工智能·科技·物联网·安全
大模型真好玩2 小时前
大模型训练全流程实战指南工具篇(九)——LLamaFactory大模型训练工具使用指南
人工智能·agent·deepseek
大傻^2 小时前
SpringAI2.0 Tool Calling 进阶:动态模式、ToolContext 与隐式解析
人工智能·springai