onnxruntime 支持的所有后端

1 代码导出

python 复制代码
import onnxruntime as ort
aaa = ort.get_all_providers()
print(aaa)

1. 1 下面是ort支持的所有后端

shell 复制代码
'TensorrtExecutionProvider', 'CUDAExecutionProvider', 'MIGraphXExecutionProvider', 
'ROCMExecutionProvider', 'OpenVINOExecutionProvider', 'DnnlExecutionProvider', 
'TvmExecutionProvider', 'VitisAIExecutionProvider', 'NnapiExecutionProvider', 
'CoreMLExecutionProvider', 'ArmNNExecutionProvider', 'ACLExecutionProvider', 
'DmlExecutionProvider', 'RknpuExecutionProvider', 'XnnpackExecutionProvider', 
'CANNExecutionProvider', 'AzureExecutionProvider', 'CPUExecutionProvider'

1.1.1 详细介绍:

执行提供程序(Execution Provider) 描述 典型硬件 典型厂家
TensorrtExecutionProvider 利用TensorRT进行高性能推断 NVIDIA GPU NVIDIA
CUDAExecutionProvider 使用CUDA在GPU上进行推断 NVIDIA GPU NVIDIA
MIGraphXExecutionProvider 使用MIGraphX在AMD GPU上进行推断 AMD GPU AMD
ROCMExecutionProvider 在AMD ROCm平台上进行推断 AMD GPU AMD
OpenVINOExecutionProvider 使用OpenVINO进行推断 多种硬件(包括Intel CPU、GPU、FPGA等) Intel
DnnlExecutionProvider 使用DNNL进行推断 多种硬件(包括Intel CPU、GPU等) Intel
TvmExecutionProvider 使用TVM进行推断 多种硬件(包括CPU、GPU等) 社区驱动
VitisAIExecutionProvider 在Xilinx FPGA上使用Vitis AI进行推断 Xilinx FPGA Xilinx
NnapiExecutionProvider 在Android设备上使用NNAPI进行推断 Android设备 Google
CoreMLExecutionProvider 在Apple设备上使用Core ML进行推断 Apple设备 Apple
ArmNNExecutionProvider 在Arm设备上使用Arm NN进行推断 Arm设备 Arm
ACLExecutionProvider 在Arm Compute Library上进行推断 Arm设备 Arm
DmlExecutionProvider 在DirectML上进行推断 DirectX 12兼容的GPU Microsoft
RknpuExecutionProvider 在Rockchip NPU上进行推断 Rockchip NPU Rockchip
XnnpackExecutionProvider 使用XNNPack进行推断 多种硬件(包括CPU) 社区驱动
CANNExecutionProvider 在华为NPU上进行推断 华为NPU 华为
AzureExecutionProvider 在Azure平台上进行推断 多种硬件(包括CPU、GPU等) Microsoft
CPUExecutionProvider 在CPU上进行推断 CPU 多个硬件厂商

这些是典型的硬件和厂家,但请注意,具体的执行提供程序的可用性和兼容性可能会因版本、操作系统和硬件配置而有所不同。

相关推荐
伞伞悦读4 分钟前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')1 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X1 小时前
Python字符串全攻略:从入门到精通
开发语言·python
贾公子1 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
吃我一窝jio1 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
欢乐马87913 小时前
优化|MPSolver 和 pywraplp 到底谁是谁?一次讲清 OR-Tools 的三层结构
python
mengge.cloud4 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
qq_158895411118 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
学无止境小袁同学19 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴19 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib