opencv dnn模块 示例(27) 目标检测 object_detection 之 yolov11

文章目录

1、YOLO v11 介绍

YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本,重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上,YOLO11对架构和训练方法进行了重大改进,使其成为各种计算机视觉任务的多功能选择。

1.1、改进点特性

YOLO11 相比之前版本,带来了五大关键改进:

  • 增强特征提取:YOLO11 通过重新设计主干网络和颈部网络(Backbone 和 Neck),新增了C3k2和C2PSA等组件,提高了从图像中提取特征的能力。这个改进使得 YOLO11 在复杂任务(如多目标检测、遮挡处理等)中表现得更为出色。特征提取的效率直接影响目标的精确定位和分类,新的架构优化提升了检测的敏感度和准确度。

  • 优化速度与效率:YOLO11 采用了更高效的架构和训练流程,保持高精度的同时提升了处理速度。

  • 更高精度与更少参数:YOLO11 的一个亮点在于它在减少了模型参数的情况下,依然能实现较高的精度。相较于 YOLOv8m,YOLO11m 在 COCO 数据集上的 mAP 提升了,且参数减少了 22%。 即:YOLO11 在减少计算资源消耗的同时,依然能够保持或提高检测性能。特别是在资源受限的设备上,如边缘计算设备或低功耗的嵌入式系统,这种高效性显得尤为重要。

  • 多环境适应性强:YOLO11 支持多种环境,包括边缘设备、云平台,甚至是移动端。结合 NVIDIA GPU 的支持,它能够在不同的硬件环境中无缝运行。

  • 广泛支持多种任务:除了传统的目标检测外,YOLO11 还支持目标跟踪、实例分割、关键点姿态估计、OBB定向物体检测(旋转目标检测)、物体分类等视觉任务。

1.2、性能对比

官网描述相比之前版本,它在架构和训练方法上有显著改进,提升了整体性能。实际感觉提升不太大。下图中,展示了 YOLO11 与其他 YOLO 版本(如 YOLOv10、YOLOv9 等)在延迟与检测精度(mAP)上的对比。

1.3、多任务支持

yolo11支持多种视觉任务,包括目标检测、实例分割、关键点姿态估计、OBB旋转目标检测和物体分类。

下表提供了YOLO11模型变体的概述,展示了它们在特定任务中的适用性以及与推理、验证、训练和导出等操作模式的兼容性。这种灵活性使YOLO11适用于计算机视觉中的广泛应用,从实时检测到复杂的分割任务。

Model Filenames Task Inference Validation Training Export
YOLO11 yolo11n.pt yolo11s.pt yolo11m.pt yolo11l.pt yolo11x.pt Detection
YOLO11-seg yolo11n-seg.p yolo11s-seg.pt yolo11m-seg.pt yolo11l-seg.pt yolo11x-seg.pt Instance Segmentation
YOLO11-pose yolo11n-pose.pt yolo11s-pose.pt yolo11m-pose.pt yolo11l-pose.pt yolo11x-pose.pt Pose/Keypoints
YOLO11-obb yolo11n-obb.pt yolo11s-obb.pt yolo11m-obb.pt yolo11l-obb.pt yolo11x-obb.pt Oriented Detection
YOLO11-cls yolo11n-cls.pt yolo11s-cls.pt yolo11m-cls.pt yolo11l-cls.pt yolo11x-cls.pt Classification

每种任务都有专门的模型文件(如yolo11n.ptyolo11m-seg.pt 等),支持推理、验证、训练和导出功能。可以根据具体的任务需求,在不同场景中灵活部署 YOLO11。

模型太多,卷不动了,具体代码层面的改进优化就不说明,有兴趣直接看源码...

2、测试

官方默认的安装方式是:通过运行 pip install ultralytics 来快速安装 Ultralytics 包。 安装有问题时,建议使用国内镜像源加速 pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple/

2.1、官方Python测试

YOLOv1 可以在命令行界面(CLI)中直接使用,只需输入 yolo 命令:

bash 复制代码
yolo predict model=yolo11n.pt source='https://ultralytics.com/images/bus.jpg'

以 coco数据集训练的 yolov8m.pt 进行测试为例,执行脚本为 yolo predict model=yolo11m.pt source=bus.jpg device=0,运行输出如下

bash 复制代码
(yolo_pytorch) E:\yolov8-ultralytics>yolo predict model=yolov8m.pt source='https://ultralytics.com/images/bus.jpg' device=0
Ultralytics YOLOv8.0.154  Python-3.9.16 torch-1.13.1+cu117 CUDA:0 (NVIDIA GeForce GTX 1080 Ti, 11264MiB)
YOLOv8m summary (fused): 218 layers, 25886080 parameters, 0 gradients, 78.9 GFLOPs

Found https://ultralytics.com/images/bus.jpg locally at bus.jpg
image 1/1 E:\DeepLearning\yolov8-ultralytics\bus.jpg: 640x480 4 persons, 1 bus, 19.0ms
Speed: 3.0ms preprocess, 19.0ms inference, 4.0ms postprocess per image at shape (1, 3, 640, 480)
Results saved to runs\detect\predict1

首次运行时,会自动下载最新的模型文件。

cpu 和 gpu的时间
CPU 3.9ms preprocess, 579.7ms inference, 21.2ms postprocess
GPU 2.3ms preprocess, 17.5ms inference, 1.5ms postprocess

2.2、Opencv dnn测试

按照惯例将pt转换为onnx模型
yolo detect export model=yolo11m.pt format=onnx imgsz=640,640

输出如下:

bash 复制代码
(yolo_pytorch) E:\DeepLearning\yolov8-ultralytics>yolo detect export model=yolo11m.pt format=onnx imgsz=640,640
Ultralytics 8.3.8 🚀 Python-3.9.16 torch-1.13.1+cu117 CPU (Intel Core(TM) i7-7700K 4.20GHz)
YOLO11m summary (fused): 303 layers, 20,091,712 parameters, 0 gradients, 68.0 GFLOPs

PyTorch: starting from 'yolo11m.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (38.8 MB)

ONNX: starting export with onnx 1.14.0 opset 16...
ONNX: slimming with onnxslim 0.1.34...
ONNX: export success ✅ 5.4s, saved as 'yolo11m.onnx' (76.9 MB)

Export complete (7.5s)
Results saved to E:\DeepLearning\yolov8-ultralytics
Predict:         yolo predict task=detect model=yolo11m.onnx imgsz=640
Validate:        yolo val task=detect model=yolo11m.onnx imgsz=640 data=/ultralytics/ultralytics/cfg/datasets/coco.yaml
Visualize:       https://netron.app
💡 Learn more at https://docs.ultralytics.com/modes/export

使用netron查看网络结构,依然和yolov8一致,输入 (640,640),输出(84, 8400)。 因此直接使用yolov8的测试代码,仅修改模型文件即可。参考代码见链接 opencv dnn模块 示例(23) 目标检测 object_detection 之 yolov8

2.3、测试统计

python (CPU):579ms

python (GPU):17ms

opencv dnn(CPU):

opencv dnn(GPU):

以下包含 预处理+推理+后处理:

openvino(CPU):325ms

onnxruntime(GPU):28ms

onnxruntime(GPU):393ms

TensorRT:19ms

3、训练

训练部分,也完全同 opencv dnn模块 示例(23) 目标检测 object_detection 之 yolov8 中一致。

相关推荐
西柚小萌新4 小时前
【深入浅出PyTorch】--3.1.PyTorch组成模块1
人工智能·pytorch·python
西猫雷婶5 小时前
random.shuffle()函数随机打乱数据
开发语言·pytorch·python·学习·算法·线性回归·numpy
深栈6 小时前
机器学习:线性回归
人工智能·pytorch·python·机器学习·线性回归·sklearn
蒋星熠8 小时前
TensorFlow与PyTorch深度对比分析:从基础原理到实战选择的完整指南
人工智能·pytorch·python·深度学习·ai·tensorflow·neo4j
GitNohup8 小时前
docker快速使用yolov11
yolo
西西弗Sisyphus10 小时前
YOLO 11 图像分类推理 Web 服务
yolo·分类·yolo 11
蜀中廖化11 小时前
Android Studio 导入 opencv
android·opencv·android studio
、、、、南山小雨、、、、11 小时前
Pytorch强化学习demo
pytorch·深度学习·机器学习·强化学习
炘东59213 小时前
vscode连接算力平台
pytorch·vscode·深度学习·gpu算力
西猫雷婶18 小时前
pytorch基本运算-torch.normal()函数输出多维数据时,如何绘制正态分布函数图
人工智能·pytorch·python·深度学习·神经网络·机器学习·线性回归