NPU上运行onnxruntime

1 问题背景

在Ascend环境上,使用onnxruntime推理时,报错:

vbnet 复制代码
/onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed to load library libonnxruntime_providers_cuda.so 
with error: libcudart.so.11.0: cannot open shared object file: No such file or directorys

显示的是cuda的组件找不到。由于是Ascend环境,肯定是没有GPU的,很明显是onnxruntime的包装错了。

sql 复制代码
pip show onnxruntime-gpu

通过如上命令,可以看到环境上确实安装的是gpu版本的。这里先卸载onnxruntime-gpu。

2 解决办法

通过查找onnxruntime社区,可以发现npu已经对onnxruntime进行了适配,参考如下文档:

onnxruntime/docs/execution-providers/community-maintained/CANN-ExecutionProvider.md at gh-pages · microsoft/onnxruntime

那么该如何才能构建onnxruntime适配Ascend上的whl包呢?

这里提供源码构建的办法:

2.1 克隆源码

bash 复制代码
git clone https://github.com/microsoft/onnxruntime.git
cd onnxruntime

2.2 构建whl包

注意--use_cann参数

bash 复制代码
# 先初始化CANN环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh
 
# 执行build脚本
./build.sh --config Release --build_shared_lib --parallel --use_cann --build_wheel

若构建成功,whl包会生成在build/Linux/Release/dist/目录下。安装onnxruntime-cann

复制代码
pip3 install onnxruntime_cann-x.xx.x-xxxx-xxxxx-xxxxx_xxx_xx.whl

3 推理示例

ini 复制代码
import numpy as np
import onnxruntime as ort
 
# 模型路径
model = "./resnet34.onnx"
 
# 以CANN作为EP的配置,参数说明可见:https://github.com/microsoft/onnxruntime/blob/gh-pages/docs/execution-providers/community-maintained/CANN-ExecutionProvider.md
providers = [
    ("CANNExecutionProvider", {
        "device_id": 0,                                 
        "arena_extend_strategy": "kNextPowerOfTwo",     
        "npu_mem_limit": 4 * 1024 * 1024 * 1024,
        "enable_cann_graph": True,
    }),
]
 
# options可以用来对推理session进行配置,例如开启profiling功能
options = ort.SessionOptions()
 
# 创建推理session
session = ort.InferenceSession(model, providers=providers, sess_options=options)
 
# 构造纯推理数据
ndata = np.zeros([1, 3, 224, 224], dtype=np.float32)
 
# 执行推理
session.run(["class"], {"image": ndata}])
相关推荐
Albert_Lsk26 分钟前
【2025/08/01】GitHub 今日热门项目
人工智能·开源·github·开源协议
居然JuRan34 分钟前
解锁GraphRAG:大模型背后的高效工作流
人工智能
牛客企业服务36 分钟前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
shilim37 分钟前
这位老哥提交了一个12万行代码的PR,程序员看了都说LGTM
人工智能·github·代码规范
倔强青铜三37 分钟前
苦练Python第38天:input() 高级处理,安全与异常管理
人工智能·python·面试
计算机科研圈42 分钟前
不靠海量数据,精准喂养大模型!上交Data Whisperer:免训练数据选择法,10%数据逼近全量效果
人工智能·深度学习·机器学习·llm·ai编程
大模型真好玩1 小时前
深入浅出LangChain AI Agent智能体开发教程(六)—两行代码LangChain Agent API快速搭建智能体
人工智能·python·agent
CodeShare1 小时前
自适应集群协作提升大语言模型医疗决策支持能力
人工智能·大语言模型·医疗决策支持
大千AI助手1 小时前
FEVER数据集:事实验证任务的大规模基准与评估框架
人工智能·深度学习·数据集·fever·事实验证·事实抽取·虚假信息