Real-Time Open-Vocabulary Object Detection：使用Ultralytics框架进行YOLO-World目标检测

FriendshipT2024-08-13 10:16

Real-Time Open-Vocabulary Object Detection：使用Ultralytics框架进行YOLO-World目标检测

前言

相关介绍

  • Ultralytics 官方文档：https://docs.ultralytics.com/
  • Ultralytics 源代码地址：https://github.com/ultralytics/ultralytics.git.
  • YOLO-World 源代码地址：https://github.com/AILab-CVC/YOLO-World.git.
  • YOLO-World 论文地址：https://arxiv.org/abs/2401.17270
  • YOLO-World 模型引入了一种基于 Ultralytics YOLOv8 的先进实时方法，用于开放词汇检测任务。这项创新可以根据描述性文本检测图像中的任何对象。通过显着降低计算需求，同时保持竞争性能，YOLO-World 成为众多基于视觉的应用程序的多功能工具。
  • 概述
    YOLO-World 解决了传统开放词汇检测模型所面临的挑战，这些模型通常依赖于需要大量计算资源的繁琐 Transformer 模型。这些模型对预定义对象类别的依赖也限制了它们在动态场景中的实用性。 YOLO-World 通过开放词汇检测功能重振了 YOLOv8 框架，采用视觉语言建模和对广泛数据集的预训练，能够以无与伦比的效率擅长在零样本场景中识别各种对象。
  • 主要特点
    • 实时解决方案：利用 CNN 的计算速度，YOLO-World 提供快速的开放词汇检测解决方案，满足需要立即结果的行业。
    • 效率和性能：YOLO-World 在不牺牲性能的情况下大幅削减了计算和资源需求，为 SAM 等模型提供了强大的替代方案，但计算成本仅为其一小部分，从而支持实时应用程序。
    • 使用离线词汇进行推理：YOLO-World 引入了"先提示后检测"策略，采用离线词汇进一步提高效率。这种方法允许使用先验计算的自定义提示（包括标题或类别）进行编码并存储为离线词汇嵌入，从而简化检测过程。
    • 由 YOLOv8 提供支持：YOLO-World 基于 Ultralytics YOLOv8 构建，利用实时目标检测领域的最新进展，以无与伦比的准确性和速度促进开放词汇检测。
    • 卓越基准测试：YOLO-World 在标准基准测试的速度和效率方面优于现有的开放词汇检测器（包括 MDETR 和 GLIP 系列），展示了 YOLOv8 在单个 NVIDIA V100 GPU 上的卓越功能。
    • 多功能应用：YOLO-World 的创新方法为多种视觉任务带来了新的可能性，与现有方法相比，速度提高了几个数量级。
  • 可用型号、支持的任务和操作模式
    可用的模型及其特定的预训练权重、它们支持的任务以及它们与各种操作模式（例如推理、验证、训练和导出）的兼容性，用 ✅ 表示支持的模式，用 ❌ 表示不支持的模式。

前提条件

实验环境

bash 复制代码 
matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.6.0
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.64.0
tensorboard>=2.4.1
pandas>=1.1.4
seaborn>=0.11.0

安装环境

bash 复制代码 
pip install ultralytics
# 或者
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple # 国内清华源，下载速度更快

项目地址

Linux

bash 复制代码 
git clone https://github.com/ultralytics/ultralytics.git
bash 复制代码 
Cloning into 'ultralytics'...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.

Windows

请到https://github.com/ultralytics/ultralytics.git网站下载源代码zip压缩包。

使用Ultralytics框架进行YOLO-World目标检测

进行训练

bash 复制代码 
yolo train model=yolov8s-world.yaml data=coco8.yaml epochs=10 imgsz=640 batch=8 workers=1
python 复制代码 
from ultralytics import YOLOWorld


def train():
    # Load a pretrained YOLOv8s-worldv2 model
    model = YOLOWorld("yolov8s-world.pt")

    # Train the model on the COCO8 example dataset for 100 epochs
    results = model.train(data="coco8.yaml", epochs=10, imgsz=640, batch=1,  workers=1)

    # Run inference with the YOLOv8n model on the 'bus.jpg' image
    results = model("imgs/test.png", save=True)

if __name__=="__main__":
    train()



进行预测

bash 复制代码 
yolo predict model=yolov8s-world.pt source=imgs/test.png imgsz=640
python 复制代码 
from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("imgs/test.png")

# Show results
results[0].show()


进行验证

bash 复制代码 
yolo val model=yolov8s-world.pt data=coco8.yaml imgsz=640 batch=1 workers=1
python 复制代码 
from ultralytics import YOLO

def val():

    # Create a YOLO-World model
    model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

    # Conduct model validation on the COCO8 example dataset
    metrics = model.val(data="coco8.yaml", batch=1, imgsz=640, device=0,workers=1)

if __name__=="__main__":
    val()

扩展

目标跟踪

使用 YOLO-World 模型对视频/图像进行对象跟踪简化如下：

bash 复制代码 
yolo track model=yolov8s-world.pt imgsz=640 source="video/test.mp4"
python 复制代码 
from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="video/test.mp4",save=True)



设置提示

YOLO-World 框架允许通过自定义提示动态指定类，使用户能够根据自己的特定需求定制模型，而无需重新训练。此功能对于使模型适应新领域或最初不属于训练数据的特定任务特别有用。通过设置自定义提示，用户基本上可以引导模型将注意力集中在感兴趣的对象上，从而增强检测结果的相关性和准确性。

例如，如果您的应用程序只需要检测"人"和"巴士"对象，则可以直接指定这些类：

python 复制代码 
from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("imgs/test.png")

# Show results
results[0].show()

还可以在设置自定义类后保存模型。通过这样做，可以创建专门针对您的特定用例的 YOLO-World 模型版本。此过程将您的自定义类定义直接嵌入到模型文件中，使模型可以与您指定的类一起使用，而无需进一步调整。请按照以下步骤保存和加载自定义 YOLOv8 模型：

  1. 首先加载 YOLO-World 模型，为其设置自定义类并保存：
python 复制代码 
# 首先加载 YOLO-World 模型，为其设置自定义类并保存：
from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["teddy bears", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")
  1. 保存后，custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似，但有一个关键区别：它现在经过优化，仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。
python 复制代码 
# 保存后，custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似，但有一个关键区别：它现在经过优化，仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("imgs/test.png")

# Show results
results[0].show()
  • 使用自定义词汇表进行保存的好处：
    • 效率：通过关注相关对象来简化检测过程，减少计算开销并加快推理速度。
    • 灵活性：允许模型轻松适应新的或利基检测任务，无需进行大量的再训练或数据收集。
    • 简单性：无需在运行时重复指定自定义类，从而简化部署，使模型可以直接使用其嵌入的词汇表。
    • 性能：通过将模型的注意力和资源集中在识别定义的对象上，提高指定类别的检测准确性。
  • 这种方法提供了一种强大的方法，可以为特定任务定制最先进的对象检测模型，使高级人工智能更容易访问并适用于更广泛的实际应用。

参考文献

[1] Ultralytics 源代码地址：https://github.com/ultralytics/ultralytics.git.

[2] Ultralytics Docs：https://docs.ultralytics.com/

相关推荐
余炜yw5 分钟前
【LSTM实战】跨越千年，赋诗成文：用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习
莫叫石榴姐21 分钟前
数据科学与SQL：组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
如若12343 分钟前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
YRr YRr1 小时前
深度学习：神经网络中的损失函数的使用
人工智能·深度学习·神经网络
ChaseDreamRunner1 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
Guofu_Liao1 小时前
大语言模型---梯度的简单介绍；梯度的定义；梯度计算的方法
人工智能·语言模型·矩阵·llama
我爱学Python!1 小时前
大语言模型与图结构的融合: 推荐系统中的新兴范式
人工智能·语言模型·自然语言处理·langchain·llm·大语言模型·推荐系统
果冻人工智能1 小时前
OpenAI 是怎么“压力测试”大型语言模型的？
人工智能·语言模型·压力测试
日出等日落1 小时前
Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
人工智能·语言模型·自然语言处理
麦麦大数据1 小时前
Python棉花病虫害图谱系统CNN识别+AI问答知识neo4j vue+flask深度学习神经网络可视化
人工智能·python·深度学习
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07怎样让音频速度变慢？请跟随以下方法进行操作08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10【目标跟踪】相机运动补偿