tensorRT整个系列的总结(包括量化,减枝)

本人以前的博客参考:tensorRT的下载和安装

TensorRT的官方文档(pythonAPI c++API):

特别全的TensoRT介绍

得到引擎的两种方式

一、权重转换为onnx

bash 复制代码
为了避免 TensorRT 解析错误,我们对 ONNX 进行 简化。
import onnx
import onnxsim
加载 ONNX 模型
onnx_model = onnx.load("yolov8n.onnx")
进行模型简化
simplified_model, check = onnxsim.simplify(onnx_model)
保存优化后的模型
onnx.save(simplified_model, "yolov8n_sim.onnx")
print("ONNX Simplified:", check)

二、用引擎进行推理

均是以yolov8为例子