【数据集】【YOLO】【目标检测】摔跤识别数据集 5097 张，YOLO行人摔倒识别算法实战训练教程！

王哈哈^_^2024-11-09 13:43

一、数据集介绍

【数据集】行人摔倒识别数据集 5097 张，目标检测，包含YOLO/VOC格式标注。

数据集中包含2种分类：{'0': 'Fallen', '1', 'Falling'} ，代表摔倒的人和正在摔倒的人，都表示摔倒状态。

数据集来自国内外图片网站和视频截图；

可用于无人机行人摔倒检测、监控下行人摔倒检测等。

检测场景为道路、景区、施工地、运动场等人员摔倒检测 ，可用于智慧景区、智慧城市、智慧交通等，服务于道路行人安全保护、景区人流量安全预警等。

数据集中含有部分负样本数据，为了区分摔跤和站立的人。

1、数据概述

摔跤识别的重要性

  1. 人口老龄化问题：随着全球人口老龄化的加剧，老年人摔倒问题日益突出，摔倒已成为老年人伤害和死亡的主要原因之一。因此，摔倒识别技术在医疗保健、安防和智能家居等领域具有广泛的应用前景。

  2. 技术发展趋势：近年来，随着人工智能技术的快速发展，特别是深度学习在图像识别和目标检测领域的广泛应用，摔倒识别技术取得了显著进步。YOLO作为一种单阶段目标检测算法，以其速度快、精度高而备受关注。

基于YOLO的摔跤识别算法

  1. 原理：YOLO算法将目标检测任务分解为边界框预测和分类任务。它使用一个神经网络同时预测图像中的所有对象及其边界框，实现了端到端的预测。YOLOv5作为YOLO系列的最新版本，在速度和精度上都有了显著提升。

  2. 数据采集与标注：摔倒数据集的收集和标注是摔倒识别系统开发的关键步骤。数据必须多样化且具有代表性，以确保模型在不同场景和条件下都能准确识别摔倒。标注过程包括定义摔倒的标准、标记摔倒的开始和结束帧以及标注人体关键点等。

  3. 模型训练与优化：使用收集到的数据集对YOLOv5模型进行训练，并通过数据增强技术增加数据集的多样性，防止模型过拟合。训练过程中需要优化超参数，如学习率、批量大小和正则化参数等，以提高模型的性能。

该数据集含有 5097 张图片，包含Pascal VOC XML 格式和YOLO TXT 格式，用于训练和测试道路、景区、施工地、运动场等人员摔倒检测情况。

图片格式为jpg格式，标注格式分别为：

YOLO：txt

VOC：xml

数据集均为手工标注，保证标注精确度。

2、数据集文件结构

person_fall/

------test/

------------Annotations/

------------images/

------------labels/

------train/

------------Annotations/

------------images/

------------labels/

------valid/

------------Annotations/

------------images/

------------labels/

------data.yaml

  • 该数据集已划分训练集样本，分别是：test 目录（测试集）、train 目录（训练集）、valid目录（验证集）；
  • Annotations文件夹为Pascal VOC格式的XML文件 ；
  • images文件夹为jpg格式的数据样本；
  • labels文件夹是YOLO格式的TXT文件；
  • data.yaml是数据集配置文件，包含摔跤识别的目标分类和加载路径。

Annotations目录下的xml文件内容如下：

XML 复制代码 
<annotation>
	<folder></folder>
	<filename>image_76_jpg.rf.6438e32bd6f8e15c9d034ab2064aeee5.jpg</filename>
	<path>image_76_jpg.rf.6438e32bd6f8e15c9d034ab2064aeee5.jpg</path>
	<source>
		<database>roboflow.com</database>
	</source>
	<size>
		<width>640</width>
		<height>640</height>
		<depth>3</depth>
	</size>
	<segmented>0</segmented>
	<object>
		<name>Fallen</name>
		<pose>Unspecified</pose>
		<truncated>0</truncated>
		<difficult>0</difficult>
		<occluded>0</occluded>
		<bndbox>
			<xmin>25</xmin>
			<xmax>463</xmax>
			<ymin>375</ymin>
			<ymax>641</ymax>
		</bndbox>
	</object>
</annotation>

3、数据集适用范围

  • 目标检测场景，无人机检测或监控识别
  • yolo训练模型或其他模型
  • 道路、景区、施工地、运动场等人员摔倒检测
  • 可用于智慧景区、智慧城市、智慧交通等，服务于道路行人安全保护、景区人流量安全预警

4、数据集标注结果

​​

4.1、数据集内容

  1. 多角度场景：包含无人机视角、监控视角、行人拍摄视角等；
  2. 标注内容：names: ['Fallen', 'Falling'] ，总计2个分类；
  3. 图片总量：5097张图片数据；
  4. 标注类型：含有Pascal VOC XML 格式和yol o TXT格式；
  5. 负样本数据：数据集中含有一定量的负样本数据 ，目的是区分摔倒的人和站立的人 ，防止误检。

5、训练过程

5.1、导入训练数据

下载YOLOv8项目压缩包，解压在任意本地workspace文件夹中。

下载YOLOv8预训练模型，导入到ultralytics-main项目根目录下。

​​​​

在ultralytics-main 项目根目录下，创建data文件夹，并在data文件夹下创建子文件夹：Annotations、images、imageSets、labels， 其中，将pascal VOC格式的XML文件 手动导入到Annotations文件夹中，将JPG格式的图像数据导入到images文件夹中，imageSets和labels两个文件夹不导入数据。

data目录结构如下：

data/

------Annotations/ //存放xml文件

------images/ //存放jpg图像

------imageSets/

------labels/

整体项目结构如下所示：

​

5.2、数据分割

首先在ultralytics-main目录下创建一个split_train_val.py文件，运行文件之后会在imageSets文件夹下将数据集划分为训练集train.txt、验证集val.txt、测试集test.txt，里面存放的就是用于训练、验证、测试的图片名称。

python 复制代码 
import os
import random

trainval_percent = 0.9
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open('data/ImageSets/trainval.txt', 'w')
ftest = open('data/ImageSets/test.txt', 'w')
ftrain = open('data/ImageSets/train.txt', 'w')
fval = open('data/ImageSets/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

5.3、数据集格式化处理

这段代码是用于处理图像标注数据，将其从XML格式（通常用于Pascal VOC数据集）转换为YOLO格式。

convert_annotation函数

  • 这个函数读取一个图像的XML标注文件，将其转换为YOLO格式的文本文件。

  • 它打开XML文件，解析树结构，提取图像的宽度和高度。

  • 然后，它遍历每个目标对象（object），检查其类别是否在classes列表中，并忽略标注为困难（difficult）的对象。

  • 对于每个有效的对象，它提取边界框坐标，进行必要的越界修正，然后调用convert函数将坐标转换为YOLO格式。

  • 最后，它将类别ID和归一化后的边界框坐标写入一个新的文本文件。

python 复制代码 
import xml.etree.ElementTree as ET
import os
from os import getcwd

sets = ['train', 'val', 'test']
classes = ['Fallen', 'Falling'] # 根据标签名称填写类别
abs_path = os.getcwd()
print(abs_path)


def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return x, y, w, h


def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id), encoding='UTF-8')
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text),
             float(xmlbox.find('xmax').text),
             float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        b1, b2, b3, b4 = b
        # 标注越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1, b2, b3, b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write(abs_path + '/data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

5.4、修改数据集配置文件

python 复制代码 
train: ../train/images
val: ../valid/images
test: ../test/images

nc: 2
names: ['Fallen', 'Falling']

5.5、执行命令

执行train.py

python 复制代码 
model = YOLO('yolov8s.pt')
results = model.train(data='data.yaml', epochs=200, imgsz=640, batch=16, workers=0)

也可以在终端执行下述命令：

bash 复制代码 
yolo train data=data.yaml model=yolov8s.pt epochs=200 imgsz=640 batch=16 workers=0 device=0

5.6、模型预测

你可以选择新建predict.py预测脚本文件，输入视频流或者图像进行预测。

代码如下：

python 复制代码 
import cv2
from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("./best.pt") # 自定义预测模型加载路径

# Open the video file
video_path = "./demo.mp4" # 自定义预测视频路径
cap = cv2.VideoCapture(video_path) 

# Get the video properties
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)

# Define the codec and create VideoWriter object
fourcc = cv2.VideoWriter_fourcc(*'mp4v')  # Be sure to use lower case
out = cv2.VideoWriter('./outputs.mp4', fourcc, fps, (frame_width, frame_height)) # 自定义输出视频路径

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLOv8 inference on the frame
        # results = model(frame)
        results = model.predict(source=frame, save=True, imgsz=640, conf=0.5)

        results[0].names[0] = "道路积水"
        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Write the annotated frame to the output file
        out.write(annotated_frame)

        # Display the annotated frame (optional)
        cv2.imshow("YOLOv8 Inference", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture and writer objects
cap.release()
out.release()
cv2.destroyAllWindows()

也可以直接在命令行窗口或者Annoconda终端输入以下命令进行模型预测：

python 复制代码 
yolo predict model="best.pt" source='demo.jpg'

6、获取数据集

添加我"头像"获取数据，或者主页私聊博主哈~

二、基于QT的目标检测可视化界面

1、环境配置

bash 复制代码 
# 安装torch环境
pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装PySide6依赖项
pip install PySide6 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装opencv-python依赖项
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

2、使用说明

​​​​​

界面功能介绍：

  • 原视频/图片区：上半部分左边区域为原视频/图片展示区；
  • 检测区 ：上半部分右边区域为检测结果输出展示区；
  • 文本框 ：打印输出操作日志，其中告警以json格式输出，包含标签框的坐标，标签名称等；
  • 加载模型：下拉框绑定本地文件路径，按钮加载路径下的模型文件；
  • 置信度阈值 ：自定义检测区的置信度阈值，可以通过滑动条的方式设置；
  • 文件上传 ：选择目标文件，包含JPG格式和MP4格式；
  • 开始检测：执行检测程序；
  • 停止：终止检测程序；

3、预测效果展示

3.1、图片检测

​​​​​

切换置信度再次执行：

​​​​​

上图左下区域可以看到json格式的告警信息，用于反馈实际作业中的管理系统，为管理员提供道路养护决策 。

3.2、视频检测

​​​​​

3.3、日志文本框

​

4、前端代码

python 复制代码 
class MyWindow(QtWidgets.QMainWindow):
    def __init__(self):
        super().__init__()

        self.init_gui()
        self.model = None
        self.timer = QtCore.QTimer()
        self.timer1 = QtCore.QTimer()
        self.cap = None
        self.video = None
        self.file_path = None
        self.base_name = None
        self.timer1.timeout.connect(self.video_show)

    def init_gui(self):
        self.folder_path = "model_file"  # 自定义修改：设置文件夹路径
        self.setFixedSize(1300, 650)
        self.setWindowTitle('目标检测')  # 自定义修改：设置窗口名称
        self.setWindowIcon(QIcon("111.jpg"))  # 自定义修改：设置窗口图标
        central_widget = QtWidgets.QWidget(self)
        self.setCentralWidget(central_widget)
        main_layout = QtWidgets.QVBoxLayout(central_widget)

        # 界面上半部分： 视频框
        topLayout = QtWidgets.QHBoxLayout()
        self.oriVideoLabel = QtWidgets.QLabel(self)
        
        # 界面下半部分： 输出框 和 按钮
        groupBox = QtWidgets.QGroupBox(self)
        groupBox.setStyleSheet('QGroupBox {border: 0px solid #D7E2F9;}')
        bottomLayout = QtWidgets.QHBoxLayout(groupBox)
        main_layout.addWidget(groupBox)
        btnLayout = QtWidgets.QHBoxLayout()
        btn1Layout = QtWidgets.QVBoxLayout()
        btn2Layout = QtWidgets.QVBoxLayout()
        btn3Layout = QtWidgets.QVBoxLayout()

        # 创建日志打印文本框
        self.outputField = QtWidgets.QTextBrowser()
        self.outputField.setFixedSize(530, 180)
        self.outputField.setStyleSheet('font-size: 13px; font-family: "Microsoft YaHei"; background-color: #f0f0f0; border: 2px solid #ccc; border-radius: 10px;')
        self.detectlabel = QtWidgets.QLabel(self)
        self.oriVideoLabel.setFixedSize(530, 400)
        self.detectlabel.setFixedSize(530, 400)
        self.oriVideoLabel.setStyleSheet('border: 2px solid #ccc; border-radius: 10px; margin-top:75px;')
        self.detectlabel.setStyleSheet('border: 2px solid #ccc; border-radius: 10px; margin-top: 75px;')
        topLayout.addWidget(self.oriVideoLabel)
        topLayout.addWidget(self.detectlabel)
        main_layout.addLayout(topLayout)

5、代码获取

YOLO可视化界面

添加我"头像"获取数据，或者主页私聊博主哈~

注：以上均为原创内容，转载请私聊！！！

相关推荐
还在学习进步2 分钟前
C语言第九周课——经典算法
c语言·开发语言·算法
Yaml45 分钟前
Java的六大排序
java·算法·排序算法
极客代码6 分钟前
【Python TensorFlow】进阶指南（续篇二）
开发语言·人工智能·python·深度学习·tensorflow
池央26 分钟前
丹摩征文活动 | 搭建 CogVideoX-2b详细教程：用短短6秒展现创作魅力
人工智能
九年义务漏网鲨鱼27 分钟前
【人脸伪造检测后门攻击】 Exploring Frequency Adversarial Attacks for Face Forgery Detection
论文阅读·python·算法·aigc
慕容复之巅32 分钟前
基于MATLAB刻度线表盘识别系统
图像处理·计算机视觉·matlab
_OLi_33 分钟前
力扣 LeetCode 977. 有序数组的平方（Day1：数组）
数据结构·算法·leetcode
QYR市场调研37 分钟前
5G时代的关键元件：射频微波MLCCs市场前景广阔
人工智能
AI小白日记1 小时前
深入探索AutoDL平台：深度学习GPU算力最佳选择
人工智能·深度学习·gpu算力
励志成为嵌入式工程师1 小时前
c语言选择排序
c语言·算法·排序算法
热门推荐
01聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03Windows10安装PCL1.14.0及点云配准04VSCode插件 —— Cody AI （免费AI助手！）05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测09Coze扣子平台完整体验和实践（附国内和国际版对比）10C++——超强级病毒代码