【重要说明】
该系统以opencvsharp作图像处理,onnxruntime做推理引擎,使用CPU进行推理,适合有显卡或者没有显卡windows x64系统均可,不支持macOS和Linux系统,不支持x86的windows操作系统。由于采用CPU推理,要比GPU慢。为了适合大部分操作系统我们暂时只写了CPU推理源码,GPU推理源码后期根据需要可能会调整,目前只考虑CPU推理,主要是为了照顾现在大部分使用该源码是学生,很多人并没有显卡的电脑情况。
【算法介绍】
基于YOLOV8的道路交通事故检测系统是一种先进的智能交通监控解决方案,它利用YOLOV8这一前沿的目标检测算法,实现对交通事故的高效、实时检测。
该系统结合了自定义的道路交通事故数据集,对YOLOV8模型进行了针对性的训练与优化,使其能够精确识别交通事故的发生及其类型。在实际应用中,系统能够快速识别视频流中的多种目标,如车辆、行人等,并准确判断其是否存在交通事故行为。
此外,该系统通过PyQt5框架实现了友好且易于操作的用户界面,用户可以通过该界面实时监控交通状况,查看事故检测结果,并进行相关的操作设置。系统支持图片、视频以及摄像头进行目标检测,同时支持检测结果的实时显示,方便用户进行后续分析和处理。
基于YOLOV8的道路交通事故检测系统不仅适用于城市道路监控,还可以推广应用到高速公路、交通枢纽等更复杂的交通场景中。它能够帮助缩短紧急服务响应时间,减少交通阻塞,同时还能为事故分析和预防措施的制定提供数据支持。
总的来说,基于YOLOV8的道路交通事故检测系统为交通安全提供了一种智能化、自动化的解决方案,有助于提升城市交通管理水平,保障行人和驾驶员的生命财产安全。
【效果展示】
【测试环境】
windows10 x64系统
VS2019
netframework4.7.2
opencvsharp4.8.0
onnxruntime1.16.3
【模型可以检测出类别】
accident
moderate
severe
【相关数据集(非本文训练的数据集)】
https://download.csdn.net/download/FL1623863129/87580711
【训练信息】
|-----------------|-------|
| 参数 | 值 |
| 训练集图片数 | 7089 |
| 验证集图片数 | 1084 |
| 训练map | 95.9% |
| 训练精度(Precision) | 92.0% |
| 训练召回率(Recall) | 93.5% |
验证集测试精度信息
|----------|-------------|
| 类别 | MAP50(单位:%) |
| all | 96 |
| accident | 91 |
| moderate | 98 |
| severe | 99 |
【部分实现源码】
using OpenCvSharp;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
namespace FIRC
{
public partial class Form1 : Form
{
public bool videoStart = false;//视频停止标志
string weightsPath = Application.StartupPath + "\\weights";//模型目录
string labelTxt= Application.StartupPath + "\\weights\\class_names.txt";//类别文件
Yolov8Manager detetor = new Yolov8Manager();//推理引擎
public Form1()
{
InitializeComponent();
CheckForIllegalCrossThreadCalls = false;//线程更新控件不报错
}
private void LoadWeightsFromDir()
{
var di = new DirectoryInfo(weightsPath);
foreach(var fi in di.GetFiles("*.onnx"))
{
comboBox1.Items.Add(fi.Name);
}
if(comboBox1.Items.Count>0)
{
comboBox1.SelectedIndex = 0;
}
else
{
tssl_show.Text = "未找到模型,请关闭程序,放入模型到weights文件夹!";
tsb_pic.Enabled = false;
tsb_video.Enabled = false;
tsb_camera.Enabled = false;
}
}
private void Form1_Load(object sender, EventArgs e)
{
LoadWeightsFromDir();//从目录加载模型
}
public string GetResultString(Result result)
{
Dictionary<string, int> resultDict = new Dictionary<string, int>();
for (int i = 0; i < result.length; i++)
{
if(resultDict.ContainsKey( result.classes[i]) )
{
resultDict[result.classes[i]]++;
}
else
{
resultDict[result.classes[i]]=1;
}
}
var resultStr = "";
foreach(var item in resultDict)
{
resultStr += string.Format("{0}:{1}\n",item.Key,item.Value);
}
return resultStr;
}
private void tsb_pic_Click(object sender, EventArgs e)
{
OpenFileDialog ofd = new OpenFileDialog();
ofd.Filter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
if (ofd.ShowDialog() != DialogResult.OK) return;
tssl_show.Text = "正在检测中...";
Task.Run(() => {
var sw = new Stopwatch();
sw.Start();
Mat image = Cv2.ImRead(ofd.FileName);
detetor.Confidence =Convert.ToSingle(numericUpDown1.Value);
detetor.IOU = Convert.ToSingle(numericUpDown2.Value);
var results=detetor.Inference(image);
var resultImage = detetor.DrawImage(image,results);
sw.Stop();
pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImage);
tb_res.Text = GetResultString(results);
tssl_show.Text = "检测已完成!总计耗时"+sw.Elapsed.TotalSeconds+"秒";
});
}
public void VideoProcess(string videoPath)
{
Task.Run(() => {
detetor.Confidence = Convert.ToSingle(numericUpDown1.Value);
detetor.IOU = Convert.ToSingle(numericUpDown2.Value);
VideoCapture capture = new VideoCapture(videoPath);
if (!capture.IsOpened())
{
tssl_show.Text="视频打开失败!";
return;
}
Mat frame = new Mat();
var sw = new Stopwatch();
int fps = 0;
while (videoStart)
{
capture.Read(frame);
if (frame.Empty())
{
Console.WriteLine("data is empty!");
break;
}
sw.Start();
var results = detetor.Inference(frame);
var resultImg = detetor.DrawImage(frame,results);
sw.Stop();
fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
sw.Reset();
Cv2.PutText(resultImg, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
//显示结果
pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImg);
tb_res.Text = GetResultString(results);
Thread.Sleep(5);
}
capture.Release();
pb_show.Image = null;
tssl_show.Text = "视频已停止!";
tsb_video.Text = "选择视频";
});
}
public void CameraProcess(int cameraIndex=0)
{
Task.Run(() => {
detetor.Confidence = Convert.ToSingle(numericUpDown1.Value);
detetor.IOU = Convert.ToSingle(numericUpDown2.Value);
VideoCapture capture = new VideoCapture(cameraIndex);
if (!capture.IsOpened())
{
tssl_show.Text = "摄像头打开失败!";
return;
}
Mat frame = new Mat();
var sw = new Stopwatch();
int fps = 0;
while (videoStart)
{
capture.Read(frame);
if (frame.Empty())
{
Console.WriteLine("data is empty!");
break;
}
sw.Start();
var results = detetor.Inference(frame);
var resultImg = detetor.DrawImage(frame, results);
sw.Stop();
fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
sw.Reset();
Cv2.PutText(resultImg, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
//显示结果
pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImg);
tb_res.Text = GetResultString(results);
Thread.Sleep(5);
}
capture.Release();
pb_show.Image = null;
tssl_show.Text = "摄像头已停止!";
tsb_camera.Text = "打开摄像头";
});
}
private void tsb_video_Click(object sender, EventArgs e)
{
if(tsb_video.Text=="选择视频")
{
OpenFileDialog ofd = new OpenFileDialog();
ofd.Filter = "视频文件(*.*)|*.mp4;*.avi";
if (ofd.ShowDialog() != DialogResult.OK) return;
videoStart = true;
VideoProcess(ofd.FileName);
tsb_video.Text = "停止";
tssl_show.Text = "视频正在检测中...";
}
else
{
videoStart = false;
}
}
private void tsb_camera_Click(object sender, EventArgs e)
{
if (tsb_camera.Text == "打开摄像头")
{
videoStart = true;
CameraProcess(0);
tsb_camera.Text = "停止";
tssl_show.Text = "摄像头正在检测中...";
}
else
{
videoStart = false;
}
}
private void tsb_exit_Click(object sender, EventArgs e)
{
videoStart = false;
this.Close();
}
private void trackBar1_Scroll(object sender, EventArgs e)
{
numericUpDown1.Value = Convert.ToDecimal(trackBar1.Value / 100.0f);
}
private void trackBar2_Scroll(object sender, EventArgs e)
{
numericUpDown2.Value = Convert.ToDecimal(trackBar2.Value / 100.0f);
}
private void numericUpDown1_ValueChanged(object sender, EventArgs e)
{
trackBar1.Value = (int)(Convert.ToSingle(numericUpDown1.Value) * 100);
}
private void numericUpDown2_ValueChanged(object sender, EventArgs e)
{
trackBar2.Value = (int)(Convert.ToSingle(numericUpDown2.Value) * 100);
}
private void comboBox1_SelectedIndexChanged(object sender, EventArgs e)
{
tssl_show.Text="加载模型:"+comboBox1.Text;
detetor.LoadWeights(weightsPath+"\\"+comboBox1.Text,labelTxt);
tssl_show.Text = "模型加载已完成!";
}
}
}
【使用步骤】
使用步骤:
(1)首先根据官方框架https://github.com/ultralytics/ultralytics安装教程安装好yolov8环境,并根据官方export命令将自己pt模型转成onnx模型
(2)使用vs2019打开sln项目,选择x64 release并且修改一些必要的参数,比如输入shape等,点击运行即可查看最后效果
特别注意如果运行报错了,请参考我的博文进行重新引用我源码的DLL:https://blog.csdn.net/FL1623863129/article/details/135424751
【提供文件】
C#源码
yolov8n.onnx模型(不提供pytorch模型)
训练的map,P,R曲线图(在weights\results.png)
测试图片(在test_img文件夹下面)
【视频演示】
【源码下载地址】
关注下方名片并回复【firc4】即可获取下载方式