在 Python 和 C++ 环境下安装和使用 ONNX Runtime

GPU 依赖项

对于 GPU 版本的 ONNX Runtime,需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。安装时请注意:

  • cuDNN 需要 ZLib,安装方法请参照 cuDNN 安装指南。
  • CUDA 和 cuDNN 的 bin 目录路径需要添加到环境变量 PATH 中。

《这部分可以去B站有很多教学视频讲的更详细》

Python 环境安装

安装 ONNX Runtime CPU 版本

要在 Python 环境中安装 ONNX Runtime 的 CPU 版本,可以使用以下命令:

复制代码
pip install onnxruntime

安装 ONNX Runtime GPU 版本 (CUDA )

复制代码
pip install onnxruntime-gpu

验证Python 示例

以下是一个简单的 Python 示例,用于加载和运行 ONNX 模型:

python 复制代码
import onnxruntime as ort

# 加载 ONNX 模型
session = ort.InferenceSession("model.onnx")

# 准备输入数据
input_name = session.get_inputs()[0].name
input_data = ...  # 根据模型要求准备输入数据

# 运行推理
result = session.run(None, {input_name: input_data})

# 输出结果
print(result)

C++ 环境安装

安装 ONNX Runtime CPU 版本

在 C++ 环境中安装 ONNX Runtime 的 CPU 版本,可以使用以下命令:

python 复制代码
# 克隆 ONNX Runtime 仓库
git clone --recursive https://github.com/microsoft/onnxruntime
cd onnxruntime

# 构建并安装
./build.sh --config Release --build_shared_lib

安装 ONNX Runtime GPU 版本 (CUDA 11.x)

要安装支持 CUDA 11.x 的 GPU 版本,可以使用以下步骤:

  1. 设置环境变量
python 复制代码
export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
  1. 构建 ONNX Runtime
python 复制代码
./build.sh --config Release --use_cuda

《windows端可以用 vs编辑器配置相应的头文件、库文件》

C++ 验证示例

以下是一个简单的 C++ 示例,用于加载和运行 ONNX 模型:

cpp 复制代码
#include <onnxruntime/core/session/onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>

int main() {
  // 初始化 ONNX Runtime
  Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "example");

  // 创建 SessionOptions
  Ort::SessionOptions session_options;
  session_options.SetIntraOpNumThreads(1);
  session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_BASIC);

  // 加载模型
  Ort::Session session(env, "model.onnx", session_options);

  // 获取模型输入信息
  Ort::AllocatorWithDefaultOptions allocator;
  const char* input_name = session.GetInputName(0, allocator);
  std::cout << "Input Name: " << input_name << std::endl;

  // 准备输入数据
  std::vector<float> input_data = ...;  // 根据模型要求准备输入数据
  std::vector<int64_t> input_shape = {1, 3, 224, 224};  // 示例输入形状

  // 创建输入 tensor
  Ort::Value input_tensor = Ort::Value::CreateTensor<float>(allocator, input_data.data(), input_data.size(), input_shape.data(), input_shape.size());

  // 运行推理
  auto output_tensors = session.Run(Ort::RunOptions{nullptr}, &input_name, &input_tensor, 1, session.GetOutputNames(allocator), 1);

  // 输出结果
  float* output_data = output_tensors[0].GetTensorMutableData<float>();
  std::cout << "Output: " << output_data[0] << std::endl;

  return 0;
}

通过上述步骤和示例代码,您可以在 Python 和 C++ 环境下安装并使用 ONNX Runtime 进行模型推理。

相关推荐
SsummerC几秒前
【leetcode100】组合总和Ⅳ
数据结构·python·算法·leetcode·动态规划
Tandy12356_7 分钟前
Godot开发2D冒险游戏——第一节:主角登场!
python·游戏引擎·godot
普if加的帕19 分钟前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC28 分钟前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye6640 分钟前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技1 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常1 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神1 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
西柚小萌新1 小时前
【Python爬虫基础篇】--4.Selenium入门详细教程
爬虫·python·selenium
FIT2CLOUD飞致云1 小时前
问答页面支持拖拽和复制粘贴文件,MaxKB企业级AI助手v1.10.6 LTS版本发布
人工智能·开源