opencv dnn模块 示例(27) 目标检测 object_detection 之 yolov11

文章目录

1、YOLO v11 介绍

YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本,重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上,YOLO11对架构和训练方法进行了重大改进,使其成为各种计算机视觉任务的多功能选择。

1.1、改进点特性

YOLO11 相比之前版本,带来了五大关键改进:

  • 增强特征提取:YOLO11 通过重新设计主干网络和颈部网络(Backbone 和 Neck),新增了C3k2和C2PSA等组件,提高了从图像中提取特征的能力。这个改进使得 YOLO11 在复杂任务(如多目标检测、遮挡处理等)中表现得更为出色。特征提取的效率直接影响目标的精确定位和分类,新的架构优化提升了检测的敏感度和准确度。

  • 优化速度与效率:YOLO11 采用了更高效的架构和训练流程,保持高精度的同时提升了处理速度。

  • 更高精度与更少参数:YOLO11 的一个亮点在于它在减少了模型参数的情况下,依然能实现较高的精度。相较于 YOLOv8m,YOLO11m 在 COCO 数据集上的 mAP 提升了,且参数减少了 22%。 即:YOLO11 在减少计算资源消耗的同时,依然能够保持或提高检测性能。特别是在资源受限的设备上,如边缘计算设备或低功耗的嵌入式系统,这种高效性显得尤为重要。

  • 多环境适应性强:YOLO11 支持多种环境,包括边缘设备、云平台,甚至是移动端。结合 NVIDIA GPU 的支持,它能够在不同的硬件环境中无缝运行。

  • 广泛支持多种任务:除了传统的目标检测外,YOLO11 还支持目标跟踪、实例分割、关键点姿态估计、OBB定向物体检测(旋转目标检测)、物体分类等视觉任务。

1.2、性能对比

官网描述相比之前版本,它在架构和训练方法上有显著改进,提升了整体性能。实际感觉提升不太大。下图中,展示了 YOLO11 与其他 YOLO 版本(如 YOLOv10、YOLOv9 等)在延迟与检测精度(mAP)上的对比。

1.3、多任务支持

yolo11支持多种视觉任务,包括目标检测、实例分割、关键点姿态估计、OBB旋转目标检测和物体分类。

下表提供了YOLO11模型变体的概述,展示了它们在特定任务中的适用性以及与推理、验证、训练和导出等操作模式的兼容性。这种灵活性使YOLO11适用于计算机视觉中的广泛应用,从实时检测到复杂的分割任务。

Model Filenames Task Inference Validation Training Export
YOLO11 yolo11n.pt yolo11s.pt yolo11m.pt yolo11l.pt yolo11x.pt Detection
YOLO11-seg yolo11n-seg.p yolo11s-seg.pt yolo11m-seg.pt yolo11l-seg.pt yolo11x-seg.pt Instance Segmentation
YOLO11-pose yolo11n-pose.pt yolo11s-pose.pt yolo11m-pose.pt yolo11l-pose.pt yolo11x-pose.pt Pose/Keypoints
YOLO11-obb yolo11n-obb.pt yolo11s-obb.pt yolo11m-obb.pt yolo11l-obb.pt yolo11x-obb.pt Oriented Detection
YOLO11-cls yolo11n-cls.pt yolo11s-cls.pt yolo11m-cls.pt yolo11l-cls.pt yolo11x-cls.pt Classification

每种任务都有专门的模型文件(如yolo11n.ptyolo11m-seg.pt 等),支持推理、验证、训练和导出功能。可以根据具体的任务需求,在不同场景中灵活部署 YOLO11。

模型太多,卷不动了,具体代码层面的改进优化就不说明,有兴趣直接看源码...

2、测试

官方默认的安装方式是:通过运行 pip install ultralytics 来快速安装 Ultralytics 包。 安装有问题时,建议使用国内镜像源加速 pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple/

2.1、官方Python测试

YOLOv1 可以在命令行界面(CLI)中直接使用,只需输入 yolo 命令:

bash 复制代码
yolo predict model=yolo11n.pt source='https://ultralytics.com/images/bus.jpg'

以 coco数据集训练的 yolov8m.pt 进行测试为例,执行脚本为 yolo predict model=yolo11m.pt source=bus.jpg device=0,运行输出如下

bash 复制代码
(yolo_pytorch) E:\yolov8-ultralytics>yolo predict model=yolov8m.pt source='https://ultralytics.com/images/bus.jpg' device=0
Ultralytics YOLOv8.0.154  Python-3.9.16 torch-1.13.1+cu117 CUDA:0 (NVIDIA GeForce GTX 1080 Ti, 11264MiB)
YOLOv8m summary (fused): 218 layers, 25886080 parameters, 0 gradients, 78.9 GFLOPs

Found https://ultralytics.com/images/bus.jpg locally at bus.jpg
image 1/1 E:\DeepLearning\yolov8-ultralytics\bus.jpg: 640x480 4 persons, 1 bus, 19.0ms
Speed: 3.0ms preprocess, 19.0ms inference, 4.0ms postprocess per image at shape (1, 3, 640, 480)
Results saved to runs\detect\predict1

首次运行时,会自动下载最新的模型文件。

cpu 和 gpu的时间
CPU 3.9ms preprocess, 579.7ms inference, 21.2ms postprocess
GPU 2.3ms preprocess, 17.5ms inference, 1.5ms postprocess

2.2、Opencv dnn测试

按照惯例将pt转换为onnx模型
yolo detect export model=yolo11m.pt format=onnx imgsz=640,640

输出如下:

bash 复制代码
(yolo_pytorch) E:\DeepLearning\yolov8-ultralytics>yolo detect export model=yolo11m.pt format=onnx imgsz=640,640
Ultralytics 8.3.8 🚀 Python-3.9.16 torch-1.13.1+cu117 CPU (Intel Core(TM) i7-7700K 4.20GHz)
YOLO11m summary (fused): 303 layers, 20,091,712 parameters, 0 gradients, 68.0 GFLOPs

PyTorch: starting from 'yolo11m.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (38.8 MB)

ONNX: starting export with onnx 1.14.0 opset 16...
ONNX: slimming with onnxslim 0.1.34...
ONNX: export success ✅ 5.4s, saved as 'yolo11m.onnx' (76.9 MB)

Export complete (7.5s)
Results saved to E:\DeepLearning\yolov8-ultralytics
Predict:         yolo predict task=detect model=yolo11m.onnx imgsz=640
Validate:        yolo val task=detect model=yolo11m.onnx imgsz=640 data=/ultralytics/ultralytics/cfg/datasets/coco.yaml
Visualize:       https://netron.app
💡 Learn more at https://docs.ultralytics.com/modes/export

使用netron查看网络结构,依然和yolov8一致,输入 (640,640),输出(84, 8400)。 因此直接使用yolov8的测试代码,仅修改模型文件即可。参考代码见链接 opencv dnn模块 示例(23) 目标检测 object_detection 之 yolov8

2.3、测试统计

python (CPU):579ms

python (GPU):17ms

opencv dnn(CPU):

opencv dnn(GPU):

以下包含 预处理+推理+后处理:

openvino(CPU):325ms

onnxruntime(GPU):28ms

onnxruntime(GPU):393ms

TensorRT:19ms

3、训练

训练部分,也完全同 opencv dnn模块 示例(23) 目标检测 object_detection 之 yolov8 中一致。

相关推荐
编码小哥27 分钟前
通过opencv加载、保存视频
人工智能·opencv
发呆小天才O.oᯅ34 分钟前
YOLOv8目标检测——详细记录使用OpenCV的DNN模块进行推理部署C++实现
c++·图像处理·人工智能·opencv·yolo·目标检测·dnn
西猫雷婶1 小时前
python学opencv|读取图像(十六)修改HSV图像HSV值
开发语言·python·opencv
深度学习lover1 小时前
<项目代码>YOLO Visdrone航拍目标识别<目标检测>
python·yolo·目标检测·计算机视觉·visdrone航拍目标识别
pchmi1 小时前
C# OpenCV机器视觉:模板匹配
opencv·c#·机器视觉
腾空烈鹰2 小时前
OpenCV putText增加中文支持
opencv·puttext 中文显示
Byron Loong2 小时前
Python+OpenCV系列:【打卡系统-需求分析】需求大剖析,考勤革命开启!
python·opencv·需求分析
编码小哥3 小时前
深入解析Mat对象:计算机视觉中的核心数据结构
opencv·计算机视觉
Byron Loong4 小时前
Python+OpenCV系列:【打卡系统-工具模块设计】工具模块深度揭秘,考勤智能化的核心秘籍!
python·opencv·webpack
深度学习lover12 小时前
[项目代码] YOLOv8 遥感航拍飞机和船舶识别 [目标检测]
python·yolo·目标检测·计算机视觉·遥感航拍飞机和船舶识别