Real-Time Open-Vocabulary Object Detection：使用Ultralytics框架进行YOLO-World目标检测

FriendshipT2024-08-13 10:16

Real-Time Open-Vocabulary Object Detection：使用Ultralytics框架进行YOLO-World目标检测

前言

相关介绍

  • Ultralytics 官方文档：https://docs.ultralytics.com/
  • Ultralytics 源代码地址：https://github.com/ultralytics/ultralytics.git.
  • YOLO-World 源代码地址：https://github.com/AILab-CVC/YOLO-World.git.
  • YOLO-World 论文地址：https://arxiv.org/abs/2401.17270
  • YOLO-World 模型引入了一种基于 Ultralytics YOLOv8 的先进实时方法，用于开放词汇检测任务。这项创新可以根据描述性文本检测图像中的任何对象。通过显着降低计算需求，同时保持竞争性能，YOLO-World 成为众多基于视觉的应用程序的多功能工具。
  • 概述
    YOLO-World 解决了传统开放词汇检测模型所面临的挑战，这些模型通常依赖于需要大量计算资源的繁琐 Transformer 模型。这些模型对预定义对象类别的依赖也限制了它们在动态场景中的实用性。 YOLO-World 通过开放词汇检测功能重振了 YOLOv8 框架，采用视觉语言建模和对广泛数据集的预训练，能够以无与伦比的效率擅长在零样本场景中识别各种对象。
  • 主要特点
    • 实时解决方案：利用 CNN 的计算速度，YOLO-World 提供快速的开放词汇检测解决方案，满足需要立即结果的行业。
    • 效率和性能：YOLO-World 在不牺牲性能的情况下大幅削减了计算和资源需求，为 SAM 等模型提供了强大的替代方案，但计算成本仅为其一小部分，从而支持实时应用程序。
    • 使用离线词汇进行推理：YOLO-World 引入了"先提示后检测"策略，采用离线词汇进一步提高效率。这种方法允许使用先验计算的自定义提示（包括标题或类别）进行编码并存储为离线词汇嵌入，从而简化检测过程。
    • 由 YOLOv8 提供支持：YOLO-World 基于 Ultralytics YOLOv8 构建，利用实时目标检测领域的最新进展，以无与伦比的准确性和速度促进开放词汇检测。
    • 卓越基准测试：YOLO-World 在标准基准测试的速度和效率方面优于现有的开放词汇检测器（包括 MDETR 和 GLIP 系列），展示了 YOLOv8 在单个 NVIDIA V100 GPU 上的卓越功能。
    • 多功能应用：YOLO-World 的创新方法为多种视觉任务带来了新的可能性，与现有方法相比，速度提高了几个数量级。
  • 可用型号、支持的任务和操作模式
    可用的模型及其特定的预训练权重、它们支持的任务以及它们与各种操作模式（例如推理、验证、训练和导出）的兼容性，用 ✅ 表示支持的模式，用 ❌ 表示不支持的模式。

前提条件

实验环境

bash 复制代码 
matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.6.0
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.64.0
tensorboard>=2.4.1
pandas>=1.1.4
seaborn>=0.11.0

安装环境

bash 复制代码 
pip install ultralytics
# 或者
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple # 国内清华源，下载速度更快

项目地址

Linux

bash 复制代码 
git clone https://github.com/ultralytics/ultralytics.git
bash 复制代码 
Cloning into 'ultralytics'...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.

Windows

请到https://github.com/ultralytics/ultralytics.git网站下载源代码zip压缩包。

使用Ultralytics框架进行YOLO-World目标检测

进行训练

bash 复制代码 
yolo train model=yolov8s-world.yaml data=coco8.yaml epochs=10 imgsz=640 batch=8 workers=1
python 复制代码 
from ultralytics import YOLOWorld


def train():
    # Load a pretrained YOLOv8s-worldv2 model
    model = YOLOWorld("yolov8s-world.pt")

    # Train the model on the COCO8 example dataset for 100 epochs
    results = model.train(data="coco8.yaml", epochs=10, imgsz=640, batch=1,  workers=1)

    # Run inference with the YOLOv8n model on the 'bus.jpg' image
    results = model("imgs/test.png", save=True)

if __name__=="__main__":
    train()



进行预测

bash 复制代码 
yolo predict model=yolov8s-world.pt source=imgs/test.png imgsz=640
python 复制代码 
from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("imgs/test.png")

# Show results
results[0].show()


进行验证

bash 复制代码 
yolo val model=yolov8s-world.pt data=coco8.yaml imgsz=640 batch=1 workers=1
python 复制代码 
from ultralytics import YOLO

def val():

    # Create a YOLO-World model
    model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

    # Conduct model validation on the COCO8 example dataset
    metrics = model.val(data="coco8.yaml", batch=1, imgsz=640, device=0,workers=1)

if __name__=="__main__":
    val()

扩展

目标跟踪

使用 YOLO-World 模型对视频/图像进行对象跟踪简化如下：

bash 复制代码 
yolo track model=yolov8s-world.pt imgsz=640 source="video/test.mp4"
python 复制代码 
from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="video/test.mp4",save=True)



设置提示

YOLO-World 框架允许通过自定义提示动态指定类，使用户能够根据自己的特定需求定制模型，而无需重新训练。此功能对于使模型适应新领域或最初不属于训练数据的特定任务特别有用。通过设置自定义提示，用户基本上可以引导模型将注意力集中在感兴趣的对象上，从而增强检测结果的相关性和准确性。

例如，如果您的应用程序只需要检测"人"和"巴士"对象，则可以直接指定这些类：

python 复制代码 
from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("imgs/test.png")

# Show results
results[0].show()

还可以在设置自定义类后保存模型。通过这样做，可以创建专门针对您的特定用例的 YOLO-World 模型版本。此过程将您的自定义类定义直接嵌入到模型文件中，使模型可以与您指定的类一起使用，而无需进一步调整。请按照以下步骤保存和加载自定义 YOLOv8 模型：

  1. 首先加载 YOLO-World 模型，为其设置自定义类并保存：
python 复制代码 
# 首先加载 YOLO-World 模型，为其设置自定义类并保存：
from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["teddy bears", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")
  1. 保存后，custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似，但有一个关键区别：它现在经过优化，仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。
python 复制代码 
# 保存后，custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似，但有一个关键区别：它现在经过优化，仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("imgs/test.png")

# Show results
results[0].show()
  • 使用自定义词汇表进行保存的好处：
    • 效率：通过关注相关对象来简化检测过程，减少计算开销并加快推理速度。
    • 灵活性：允许模型轻松适应新的或利基检测任务，无需进行大量的再训练或数据收集。
    • 简单性：无需在运行时重复指定自定义类，从而简化部署，使模型可以直接使用其嵌入的词汇表。
    • 性能：通过将模型的注意力和资源集中在识别定义的对象上，提高指定类别的检测准确性。
  • 这种方法提供了一种强大的方法，可以为特定任务定制最先进的对象检测模型，使高级人工智能更容易访问并适用于更广泛的实际应用。

参考文献

[1] Ultralytics 源代码地址：https://github.com/ultralytics/ultralytics.git.

[2] Ultralytics Docs：https://docs.ultralytics.com/

相关推荐
强哥之神7 分钟前
Nexa AI发布OmniAudio-2.6B：一款快速的音频语言模型，专为边缘部署设计
人工智能·深度学习·机器学习·语言模型·自然语言处理·音视频·openai
yusaisai大鱼11 分钟前
tensorflow_probability与tensorflow版本依赖关系
人工智能·python·tensorflow
18号房客11 分钟前
一个简单的深度学习模型例程，使用Keras（基于TensorFlow）构建一个卷积神经网络（CNN）来分类MNIST手写数字数据集。
人工智能·深度学习·机器学习·生成对抗网络·语言模型·自然语言处理·tensorflow
神秘的土鸡18 分钟前
神经网络图像隐写术：用AI隐藏信息的艺术
人工智能·深度学习·神经网络
数据分析能量站19 分钟前
神经网络-LeNet
人工智能·深度学习·神经网络·机器学习
Jaly_W28 分钟前
用于航空发动机故障诊断的深度分层排序网络
人工智能·深度学习·故障诊断·航空发动机
小嗷犬30 分钟前
【论文笔记】Cross-lingual few-shot sign language recognition
论文阅读·人工智能·多模态·少样本·手语翻译
夜幕龙37 分钟前
iDP3复现代码数据预处理全流程（二）——vis_dataset.py
人工智能·python·机器人
吃个糖糖1 小时前
36 Opencv SURF 关键点检测
人工智能·opencv·计算机视觉
AI慧聚堂1 小时前
自动化 + 人工智能：投标行业的未来是什么样的？
运维·人工智能·自动化
热门推荐
01【一文读懂】NTN（非地面网络）技术介绍02优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间03玄机平台应急响应—webshell查杀04Cube-Studio：开源大模型全链路一站式中台05基于大语言模型（LLM）的合成数据生成、策展和评估的综述06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08HCIA-datacom数通题库和录播视频资料09Docker 夺命连环 15 问10RAG 实践- Ollama+RagFlow 部署本地知识库