paddle模型转onnx介绍(以utc-mini为例)

1、paddle到onnx转换命令

python 复制代码
paddle2onnx --model_dir /opt/utc/models/checkpoint_utc-mini/ --model_filename model.pdmodel --params_filename model.pdiparams --save_file /opt/utc/models/checkpoint_utc-mini/onnx/model.onnx --enable_dev_version True --opset_version 13 --enable_onnx_checker True

2、测试验证

python 复制代码
# -*- coding: utf-8 -*-
"""
    paddle -> onnx
"""
import os

from paddle.static import InputSpec

import paddle2onnx


def func_onnx_test_valid(onnx_model_path):
    """ (1) 检查 ONNX 模型的有效性
        可以使用如下脚本验证导出的 ONNX 模型是否合理,包括检查模型的版本、图的结构、节点及其输入和输出。
        如下脚本的输出为 None 则表示模型转换正确。
    """
    # 导入 ONNX 库
    import onnx

    # 载入 ONNX 模型
    onnx_model = onnx.load(onnx_model_path)

    # 使用 ONNX 库检查 ONNX 模型是否合理
    check = onnx.checker.check_model(onnx_model)

    # 打印检查结果
    print('check: ', check)

    pass


def func_onnx_test_match(onnx_model_path, paddle_model_path):
    """ 验证模型是否匹配
        验证原始的飞桨模型和导出的 ONNX 模型是否有相同的计算结果。
    """
    # 导入所需的库
    import numpy as np
    import onnxruntime
    import paddle

    def input_generate():
        # 准备输入数据
        batch_size = 1
        max_seq_length = 128  # 假设最大序列长度为 128

        # 生成示例输入数据
        input_ids = np.random.randint(0, 10000, (batch_size, max_seq_length)).astype('int64')
        token_type_ids = np.zeros((batch_size, max_seq_length), dtype='int64')
        position_ids = np.arange(max_seq_length).reshape(1, -1).repeat(batch_size, axis=0).astype('int64')
        attention_mask = np.ones((batch_size, 1, max_seq_length, max_seq_length), dtype='float32')
        omask_positions = np.array([[10, 20]]).astype('int64')  # 假设 omask_positions 为 [10, 20]
        cls_positions = np.array([0]).astype('int64')  # 假设 cls_positions 为 [0]

        # 准备输入字典
        ort_inputs = {
            'input_ids': input_ids,
            'token_type_ids': token_type_ids,
            'position_ids': position_ids,
            'attention_mask': attention_mask,
            'omask_positions': omask_positions,
            'cls_positions': cls_positions
        }

        return ort_inputs

    print("------------------------ ONNX -----------------------------")
    # predict by ONNXRuntime
    ort_sess = onnxruntime.InferenceSession(onnx_model_path, providers=['CPUExecutionProvider'])

    # 获取输入和输出名称
    input_names = [input.name for input in ort_sess.get_inputs()]
    output_names = [output.name for output in ort_sess.get_outputs()]
    # 打印输入和输出名称
    print("Input names:", input_names)
    print("Output names:", output_names)

    # 获取输入数据
    ort_inputs = input_generate()

    # 运行模型
    ort_outs = ort_sess.run(None, ort_inputs)
    print("ONNX Outputs: \n", ort_outs)
    print("Exported model has been predicted by ONNXRuntime!")
    print("------------------------ ONNX -----------------------------")

    pass


if __name__ == '__main__':

    # paddle 模型保存目录及文件路径
    model_dir_paddle = '/opt/utc/models/checkpoint_utc-mini/'

    # onnx 保存目录及文件路径
    model_dir_onnx = model_dir_paddle + "onnx/"
    os.makedirs(model_dir_onnx, exist_ok=True)
    onnx_model_path = model_dir_onnx + 'model.onnx'

    # (1) 检查 ONNX 模型的有效性
    func_onnx_test_valid(onnx_model_path)
    # (2) 验证模型是否匹配
    func_onnx_test_match(onnx_model_path)

    print("done.")
    pass
相关推荐
YangYang9YangYan几秒前
2025年金融专业人士职业认证发展路径分析
大数据·人工智能·金融
AIbase20241 分钟前
GEO优化服务:技术演进如何重塑搜索优化行业新范式
大数据·人工智能
摆烂z11 分钟前
ollama笔记
人工智能
连合机器人12 分钟前
城市脉搏中的“绿色卫士”:当智能科技邂逅城市清洁
人工智能·ai·设备租赁·连合直租·智能清洁专家·有鹿巡扫机器人
贾全16 分钟前
准备篇:搭建你的AI“炼丹炉“
人工智能·ai·vlm·多模态ai·vlm环境配置
CoovallyAIHub21 分钟前
医药、零件、饮料瓶盖……SuperSimpleNet让质检“即插即用”
深度学习·算法·计算机视觉
跳跳糖炒酸奶24 分钟前
第六章、从transformer到nlp大模型:编码器-解码器模型 (Encoder-Decoder)
深度学习·自然语言处理·transformer
胖墩会武术40 分钟前
由浅及深:扫描电子显微镜(Scanning Electron Microscope,SEM)
人工智能·electron
cxr8281 小时前
Claude-Flow AI协同开发:基础入门之 AI编排
人工智能·驱动开发
fundroid1 小时前
AI 创业的机遇、趋势与实践指南 - 吴恩达在 YC AI Startup School 演讲深度解读
人工智能