YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、YOLOv11 推理的 C++ 和 Python 实现

前网易架构师-高司机2024-11-17 8:13

yolo 推理

YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、YOLOv11 推理的 C++ 和 Python实现。

支持的推理后端包括 Libtorch/PyTorch、ONNXRuntime、OpenCV、OpenVINO 和 TensorRT。

支持的任务类型包括分类、检测和分割。

支持的模型类型包括FP32、FP16和INT8。

yolo测试

C++代码测试

你可以使用以下方法测试 C++ 代码：

复制代码 
# Windows
mkdir build ; cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build . --config Release
./run.bat

或者

复制代码 
# Linux
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make
./run.sh

Docker上对C++测试

在Docker中的Ubuntu22.04上进行C++测试（CPU i7-12700，GPU RTX3070）：

模型 任务 设备 精确 LibTorch ONNX运行时 OpenCV 开放的VINO TensorRT
YOLOv5n 分类 中央处理器 FP32 15.3毫秒 12.2毫秒 20.6毫秒 14.1毫秒 ×
YOLOv5n 分类 图形处理器 FP32 4.9毫秒 5.1毫秒 5.1毫秒 ？ 4.1毫秒
YOLOv5n 分类 中央处理器 FP16 × 21.7毫秒 20.1毫秒 14.0毫秒 ×
YOLOv5n 分类 图形处理器 FP16 4.6毫秒 8.1毫秒 4.9毫秒 ？ 3.2毫秒
YOLOv5n 分类 中央处理器 INT8 × 18.3毫秒 × ？ ×
YOLOv5n 分类 图形处理器 INT8 × 34.2毫秒 × ？ 3.0毫秒
YOLOv5n 探测 中央处理器 FP32 23.3毫秒 20.2毫秒 57.3毫秒 20.0毫秒 ×
YOLOv5n 探测 图形处理器 FP32 7.2毫秒 6.4毫秒 8.2毫秒 ？ 4.4毫秒
YOLOv5n 探测 中央处理器 FP16 × 41.8毫秒 57.3毫秒 19.8毫秒 ×
YOLOv5n 探测 图形处理器 FP16 6.8毫秒 18.8毫秒 7.9毫秒 ？ 3.9毫秒
YOLOv5n 探测 中央处理器 INT8 × 26.7毫秒 × 18.1毫秒 ×
YOLOv5n 探测 图形处理器 INT8 × 49.3毫秒 × ？ 3.5毫秒
YOLOv5n 部分 中央处理器 FP32 × 28.2毫秒 75.8毫秒 27.2毫秒 ×
YOLOv5n 部分 图形处理器 FP32 10.6毫秒 10.6毫秒 10.8毫秒 ？ 6.3毫秒
YOLOv5n 部分 中央处理器 FP16 × 55.0毫秒 75.9毫秒 27.2毫秒 ×
YOLOv5n 部分 图形处理器 FP16 9.8毫秒 29.0毫秒 10.0毫秒 ？ 5.0毫秒
YOLOv5n 部分 中央处理器 INT8 × 34.5毫秒 × ？ ×
YOLOv5n 部分 图形处理器 INT8 × 62.1毫秒 × ？ 4.2毫秒
YOLOv6n 探测 中央处理器 FP32 ？ 28.1毫秒 29.7毫秒 29.3毫秒 ×
YOLOv6n 探测 图形处理器 FP32 ？ 6.4毫秒 6.5毫秒 ？ 5.0毫秒
YOLOv6n 探测 中央处理器 FP16 十 47.1毫秒 27.4毫秒 29.3毫秒 ×
YOLOv6n 探测 图形处理器 FP16 ？ 13.1毫秒 6.2毫秒 ？ 3.5毫秒
YOLOv6n 探测 中央处理器 INT8 十 38.5毫秒 × 23.4毫秒 ×
YOLOv6n 探测 图形处理器 INT8 十 95.7毫秒 × ？ 4.1毫秒
YOLOv7t 探测 中央处理器 FP32 50.5毫秒 33.6毫秒 59.9毫秒 34.8毫秒 ×
YOLOv7t 探测 图形处理器 FP32 8.0毫秒 7.7毫秒 8.7毫秒 ？ 5.5毫秒
YOLOv7t 探测 中央处理器 FP16 十 71.7毫秒 63.7毫秒 34.7毫秒 ×
YOLOv7t 探测 图形处理器 FP16 ？ 21.3毫秒 7.0毫秒 ？ 3.9毫秒
YOLOv7t 探测 中央处理器 INT8 十 50.7毫秒 × 27.8毫秒 ×
YOLOv7t 探测 图形处理器 INT8 十 85.6毫秒 × ？ 3.7毫秒
YOLOv8n 分类 中央处理器 FP32 3.5毫秒 2.2毫秒 4.0毫秒 2.4毫秒 ×
YOLOv8n 分类 图形处理器 FP32 2.3毫秒 1.5毫秒 1.9毫秒 ？ 1.2毫秒
YOLOv8n 分类 中央处理器 FP16 × 6.3毫秒 4.0毫秒 2.4毫秒 ×
YOLOv8n 分类 图形处理器 FP16 ？ 1.7毫秒 1.7毫秒 ？ 1.0毫秒
YOLOv8n 分类 中央处理器 INT8 × 3.4毫秒 × ？ ×
YOLOv8n 分类 图形处理器 INT8 × 7.8毫秒 × ？ 1.0毫秒
YOLOv8n 探测 中央处理器 FP32 33.3毫秒 27.9毫秒 42.2毫秒 28.6毫秒 ×
YOLOv8n 探测 图形处理器 FP32 6.4毫秒 6.9毫秒 6.8毫秒 ？ 6.0毫秒
YOLOv8n 探测 中央处理器 FP16 × 57.2毫秒 41.9毫秒 28.6毫秒 ×
YOLOv8n 探测 图形处理器 FP16 ？ 19.4毫秒 5.7毫秒 ？ 3.7毫秒
YOLOv8n 探测 中央处理器 INT8 × 37.3毫秒 × 24.5毫秒 ×
YOLOv8n 探测 图形处理器 INT8 × 85.5毫秒 × ？ 4.7毫秒
YOLOv8n 部分 中央处理器 FP32 × 42.9毫秒 54.7毫秒 37.5毫秒 ×
YOLOv8n 部分 图形处理器 FP32 9.5毫秒 10.5毫秒 × ？ 8.1毫秒
YOLOv8n 部分 中央处理器 FP16 × 73.1毫秒 54.9毫秒 37.4毫秒 ×
YOLOv8n 部分 图形处理器 FP16 ？ 27.3毫秒 × ？ 5.9毫秒
YOLOv8n 部分 中央处理器 INT8 × 51.0毫秒 × ？ ×
YOLOv8n 部分 图形处理器 INT8 × 101.1毫秒 × ？ 5.6毫秒
YOLOv9t 探测 中央处理器 FP32 40.8毫秒 34.6毫秒 54.1毫秒 29.0毫秒 ×
YOLOv9t 探测 图形处理器 FP32 8.1毫秒 9.4米 9.7毫秒 ？ 7.1毫秒
YOLOv9t 探测 中央处理器 FP16 十 60.6毫秒 55.0毫秒 29.0毫秒 ×
YOLOv9t 探测 图形处理器 FP16 ？ 17.9毫秒 9.0毫秒 ？ 4.9毫秒
YOLOv9t 探测 中央处理器 INT8 十 48.0毫秒 × 27.0毫秒 ×
YOLOv9t 探测 图形处理器 INT8 十 135.2毫秒 × ？ 5.6毫秒
YOLOv10n 探测 中央处理器 FP32 30.4毫秒 27.9毫秒 十 26.1毫秒 ×
YOLOv10n 探测 图形处理器 FP32 6.0毫秒 6.5 米 十 ？ 十
YOLOv10n 探测 中央处理器 FP16 十 56.4毫秒 十 26.0毫秒 ×
YOLOv10n 探测 图形处理器 FP16 ？ 10.9毫秒 十 ？ 十
YOLOv10n 探测 中央处理器 INT8 十 40.7毫秒 × 23.5毫秒 ×
YOLOv10n 探测 图形处理器 INT8 十 83.9毫秒 × ？ 十
YOLOv11n 分类 中央处理器 FP32 4.1毫秒 2.4毫秒 4.4毫秒 2.6毫秒 ×
YOLOv11n 分类 图形处理器 FP32 2.7毫秒 1.7毫秒 × ？ 1.4毫秒
YOLOv11n 分类 中央处理器 FP16 × 6.3毫秒 4.5毫秒 2.6毫秒 ×
YOLOv11n 分类 图形处理器 FP16 ？ 2.1毫秒 × ？ 1.1毫秒
YOLOv11n 分类 中央处理器 INT8 × ？ × ？ ×
YOLOv11n 分类 图形处理器 INT8 × ？ × ？ 1.3毫秒
YOLOv11n 探测 中央处理器 FP32 35.0毫秒 26.9毫秒 44.4毫秒 25.0毫秒 ×
YOLOv11n 探测 图形处理器 FP32 7.2毫秒 7.2毫秒 × ？ 6.0毫秒
YOLOv11n 探测 中央处理器 FP16 × 61.3毫秒 44.8毫秒 25.0毫秒 ×
YOLOv11n 探测 图形处理器 FP16 ？ 20.0毫秒 × ？ 3.9毫秒
YOLOv11n 探测 中央处理器 INT8 × ？ × 22.8毫秒 ×
YOLOv11n 探测 图形处理器 INT8 × ？ × ？ 4.7毫秒
YOLOv11n 部分 中央处理器 FP32 × 38.8毫秒 56.9毫秒 34.0毫秒 ×
YOLOv11n 部分 图形处理器 FP32 十 10.9毫秒 × ？ 7.5毫秒
YOLOv11n 部分 中央处理器 FP16 × 78.3毫秒 58.1毫秒 33.8毫秒 ×
YOLOv11n 部分 图形处理器 FP16 十 27.9毫秒 × ？ 6.2毫秒
YOLOv11n 部分 中央处理器 INT8 × ？ × ？ ×
YOLOv11n 部分 图形处理器 INT8 × ？ × ？ 4.9毫秒

Python代码测试

可以使用以下方式测试 Python 代码：

复制代码 
# Windows 
pip install -r requirements.txt
./run.bat

或者

复制代码 
# Linux
pip install -r requirements.txt
./run.sh

Docker上对python测试

在Docker中对Ubuntu22.04进行Python测试（CPU i7-12700，GPU RTX3070）：

模型 任务 设备 精确 PyTorch ONNX运行时 OpenCV 开放的VINO TensorRT
YOLOv5n 分类 中央处理器 FP32 26.3毫秒 21.4毫秒 33.2毫秒 21.8毫秒 ×
YOLOv5n 分类 图形处理器 FP32 15.6毫秒 16.1毫秒 16.6毫秒 ？ 17.0毫秒
YOLOv5n 分类 中央处理器 FP16 十 30.3毫秒 31.5毫秒 21.7毫秒 ×
YOLOv5n 分类 图形处理器 FP16 14.5毫秒 18.6毫秒 17.4毫秒 ？ 19.8毫秒
YOLOv5n 分类 中央处理器 INT8 十 28.9毫秒 × ？ ×
YOLOv5n 分类 图形处理器 INT8 十 54.8毫秒 × ？ 18.9毫秒
YOLOv5n 探测 中央处理器 FP32 30.6毫秒 27.0毫秒 60.0毫秒 24.8毫秒 ×
YOLOv5n 探测 图形处理器 FP32 10.4毫秒 14.9毫秒 10.7毫秒 ？ 14.3毫秒
YOLOv5n 探测 中央处理器 FP16 十 40.7毫秒 59.8毫秒 24.8毫秒 ×
YOLOv5n 探测 图形处理器 FP16 12.3毫秒 19.6毫秒 10.3毫秒 ？ 12.8毫秒
YOLOv5n 探测 中央处理器 INT8 十 33.7毫秒 × 23.1毫秒 ×
YOLOv5n 探测 图形处理器 INT8 十 72.9毫秒 × ？ 13.8毫秒
YOLOv5n 部分 中央处理器 FP32 159.2毫秒 116.1毫秒 147.2毫秒 47.8毫秒 ×
YOLOv5n 部分 图形处理器 FP32 34.6毫秒 49.1毫秒 38.0毫秒 ？ 70.7毫秒
YOLOv5n 部分 中央处理器 FP16 十 138.8毫秒 142.2毫秒 48.2毫秒 ×
YOLOv5n 部分 图形处理器 FP16 50.9毫秒 78.9毫秒 52.4毫秒 ？ 72.6毫秒
YOLOv5n 部分 中央处理器 INT8 十 127.6毫秒 × ？ ×
YOLOv5n 部分 图形处理器 INT8 十 191.8毫秒 × ？ 13.3毫秒
YOLOv6n 探测 中央处理器 FP32 ？ 54.0毫秒 48.1毫秒 52.0毫秒 ×
YOLOv6n 探测 图形处理器 FP32 ？ 40.0毫秒 34.2毫秒 ？ 43.0毫秒
YOLOv6n 探测 中央处理器 FP16 十 66.4毫秒 48.1毫秒 51.8毫秒 ×
YOLOv6n 探测 图形处理器 FP16 ？ 49.9毫秒 36.3毫秒 ？ 40.5毫秒
YOLOv6n 探测 中央处理器 INT8 十 67.1毫秒 × 44.9毫秒 ×
YOLOv6n 探测 图形处理器 INT8 十 241.4毫秒 × ？ 61.7毫秒
YOLOv7t 探测 中央处理器 FP32 53.3 41.1毫秒 62.9毫秒 39.4毫秒 ×
YOLOv7t 探测 图形处理器 FP32 10.6 16.5毫秒 10.4毫秒 ？ 14.0毫秒
YOLOv7t 探测 中央处理器 FP16 十 72.2毫秒 62.9毫秒 39.4毫秒 ×
YOLOv7t 探测 图形处理器 FP16 ？ 24.3毫秒 9.1毫秒 ？ 12.7毫秒
YOLOv7t 探测 中央处理器 INT8 十 58.2毫秒 × 32.4毫秒 ×
YOLOv7t 探测 图形处理器 INT8 十 101.8毫秒 × ？ 12.9毫秒
YOLOv8n 分类 中央处理器 FP32 3.5毫秒 2.2毫秒 4.1毫秒 2.3毫秒 ×
YOLOv8n 分类 图形处理器 FP32 2.5毫秒 1.6毫秒 1.8毫秒 ？ 3.5毫秒
YOLOv8n 分类 中央处理器 FP16 十 6.3毫秒 4.1秒 2.3毫秒 ×
YOLOv8n 分类 图形处理器 FP16 ？ 1.7毫秒 1.7毫秒 ？ 2.8毫秒
YOLOv8n 分类 中央处理器 INT8 十 3.7毫秒 × ？ ×
YOLOv8n 分类 图形处理器 INT8 十 8.2毫秒 × ？ 3.0毫秒
YOLOv8n 探测 中央处理器 FP32 59.2毫秒 57.8毫秒 60.3秒 49.4毫秒 ×
YOLOv8n 探测 图形处理器 FP32 35.5毫秒 40.5毫秒 29.4毫秒 ？ 39.1毫秒
YOLOv8n 探测 中央处理器 FP16 十 77.1毫秒 61.3毫秒 49.6毫秒 ×
YOLOv8n 探测 图形处理器 FP16 ？ 60.4毫秒 30.8毫秒 ？ 38.1毫秒
YOLOv8n 探测 中央处理器 INT8 十 64.1毫秒 × 44.1毫秒 ×
YOLOv8n 探测 图形处理器 INT8 十 138.7毫秒 × ？ 40.9毫秒
YOLOv8n 部分 中央处理器 FP32 184.7毫秒 157.8毫秒 142.3毫秒 100.0毫秒 ×
YOLOv8n 部分 图形处理器 FP32 94.3毫秒 104.2毫秒 88.5毫秒 ？ 116.6毫秒
YOLOv8n 部分 中央处理器 FP16 十 180.4毫秒 144.8秒 99.3毫秒 ×
YOLOv8n 部分 图形处理器 FP16 ？ 122.2毫秒 108.7毫秒 ？ 118.7毫秒
YOLOv8n 部分 中央处理器 INT8 十 166.4毫秒 × ？ ×
YOLOv8n 部分 图形处理器 INT8 十 275.3毫秒 × ？ 40.9毫秒
YOLOv9t 探测 中央处理器 FP32 61.0毫秒 61.0毫秒 74.9毫秒 49.7毫秒 ×
YOLOv9t 探测 图形处理器 FP32 33.6毫秒 41.4米 31.2毫秒 ？ 40.2毫秒
YOLOv9t 探测 中央处理器 FP16 十 81.0毫秒 75.4毫秒 49.6毫秒 ×
YOLOv9t 探测 图形处理器 FP16 ？ 45.9毫秒 33.5毫秒 ？ 41.5毫秒
YOLOv9t 探测 中央处理器 INT8 十 74.4毫秒 × 46.8毫秒 ×
YOLOv9t 探测 图形处理器 INT8 十 384.5毫秒 × ？ 47.5毫秒
YOLOv10n 探测 中央处理器 FP32 33.7毫秒 34.7毫秒 十 28.6毫秒 ×
YOLOv10n 探测 图形处理器 FP32 8.3毫秒 13.0米 十 ？ 十
YOLOv10n 探测 中央处理器 FP16 十 57.8毫秒 十 28.6毫秒 ×
YOLOv10n 探测 图形处理器 FP16 ？ 14.4毫秒 十 ？ 十
YOLOv10n 探测 中央处理器 INT8 十 49.8毫秒 × 26.1毫秒 ×
YOLOv10n 探测 图形处理器 INT8 十 103.0毫秒 × ？ 十
YOLOv11n 分类 中央处理器 FP32 4.1毫秒 2.3毫秒 4.6毫秒 2.5毫秒 ×
YOLOv11n 分类 图形处理器 FP32 2.8毫秒 1.7毫秒 十 ？ 3.7毫秒
YOLOv11n 分类 中央处理器 FP16 十 6.1毫秒 4.5毫秒 2.5毫秒 ×
YOLOv11n 分类 图形处理器 FP16 ？ 1.9毫秒 十 ？ 3.3毫秒
YOLOv11n 分类 中央处理器 INT8 十 ？ × ？ ×
YOLOv11n 分类 图形处理器 INT8 十 ？ × ？ 3.6毫秒
YOLOv11n 探测 中央处理器 FP32 62.2毫秒 52.9毫秒 66.2毫秒 45.2毫秒 ×
YOLOv11n 探测 图形处理器 FP32 38.7毫秒 41.2毫秒 十 ？ 36.6毫秒
YOLOv11n 探测 中央处理器 FP16 十 82.5毫秒 63.0毫秒 45.1毫秒 ×
YOLOv11n 探测 图形处理器 FP16 ？ 58.2毫秒 十 ？ 38.2毫秒
YOLOv11n 探测 中央处理器 INT8 十 ？ × 50.0毫秒 ×
YOLOv11n 探测 图形处理器 INT8 十 ？ × ？ 39.1毫秒
YOLOv11n 部分 中央处理器 FP32 183.5毫秒 152.7毫秒 144.1毫秒 91.9毫秒 ×
YOLOv11n 部分 图形处理器 FP32 98.2毫秒 116.2毫秒 十 ？ 114.9毫秒
YOLOv11n 部分 中央处理器 FP16 十 185.4毫秒 155.2毫秒 92.3毫秒 ×
YOLOv11n 部分 图形处理器 FP16 ？多发性硬化症 130.4毫秒 十 ？ 120.2毫秒
YOLOv11n 部分 中央处理器 INT8 十 ？ × ？ ×
YOLOv11n 部分 图形处理器 INT8 十 ？ × ？ 39.0毫秒

你可以使用以下命令获取 docker 镜像：

复制代码 
docker pull taify/yolo_inference:latest
相关推荐
m0_7380545641 分钟前
【leetcode】N皇后 回溯法c++
c++·算法·leetcode·回溯
hunandede42 分钟前
FFmpeg 4.3 音视频-多路H265监控录放C++开发十四，总结编码过程，从摄像头获得数据后，转成AVFrame，然后再次转成AVPacket，
c++·ffmpeg·音视频
python收藏家1 小时前
Python缓存：两个简单的方法
python
潜洋1 小时前
Python + Memcached：分布式应用程序中的高效缓存
python·缓存·memcached
MessiGo1 小时前
C++ 编程基础（5）类与对象 | 5.8、面向对象五大原则
开发语言·c++
大草原的小灰灰1 小时前
C++ 多线程std::thread以及条件变量和互斥量的使用
c++
sam-zy1 小时前
MFC 鼠标悬停在控件上，显示提示信息
c++·mfc
Yan-英杰2 小时前
利用Blackbox AI让编程更轻松
图像处理·人工智能·python·深度学习·语言模型
工业互联网专业2 小时前
Python毕业设计选题：基于BS架构的在线学习与推荐系统的设计与实现-django
vue.js·python·django·毕业设计·源码·课程设计
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07好数（蓝桥杯）08文件或文件夹名称中有空格如何批量去除09基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测10Vue3优化之实现懒加载和子组件异步加载