《博主简介》
小伙伴们好,我是阿旭。
专注于计算机视觉领域,包括目标检测、图像分类、图像分割和目标跟踪等项目开发,提供模型对比实验、答疑辅导等。
《------往期经典推荐------》
二、机器学习实战专栏【链接】 ,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】,持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~
《------正文------》
目录
- 基本功能演示
- 前言
- 应用场景
- 一、软件核心功能介绍及效果演示
- 二、目标分割模型的训练、评估与推理
-
- 1.YOLO26简介
- [2. 数据集准备与训练](#2. 数据集准备与训练)
- [3. 训练结果评估](#3. 训练结果评估)
- [4. 模型推理](#4. 模型推理)
- 四、可视化系统制作
- 【获取方式】
基本功能演示
项目演示视频地址:https://www.bilibili.com/video/BV16gApzREWo
摘要:蓝莓的高经济价值高度依赖采摘时机,但传统人工分拣效率低、主观性强,易导致分级不准和经济损失。针对蓝莓果小、色变细微及枝叶遮挡等难点,常规检测框难以胜任。本文基于
YOLO26深度学习框架,通过1439张图片训练了一个进行蓝莓成熟度分割模型,能够分割识别4种成熟度蓝莓。最终基于此模型开发了一款带UI界面的蓝莓成熟度检测与分割系统,可用于实时检测场景中的蓝莓成熟度。该系统是基于python与PyQT5开发的,支持图片、批量图片、视频以及摄像头进行目标检测分割,并保存分割结果。本文提供了完整的Python代码和使用教程,给感兴趣的小伙伴参考学习,完整的代码资源文件获取方式见文末。
文章目录
- 基本功能演示
- 前言
- 应用场景
- 一、软件核心功能介绍及效果演示
- 二、目标分割模型的训练、评估与推理
-
- 1.YOLO26简介
- [2. 数据集准备与训练](#2. 数据集准备与训练)
- [3. 训练结果评估](#3. 训练结果评估)
- [4. 模型推理](#4. 模型推理)
- 四、可视化系统制作
- 【获取方式】
前言
蓝莓的高经济价值高度依赖采摘时机,但传统人工分拣效率低、主观性强,易导致分级不准和经济损失。针对蓝莓果小、色变细微及枝叶遮挡等难点,常规检测框难以胜任。本系统基于YOLO框架引入实例分割技术,构建了"未成熟、半成熟、成熟、过熟"四类精细化模型。系统能以像素级精度定位分割果实并实时统计数量,实现了从"粗略检测"到"精细量化"的跨越,对指导精准采摘、优化分选、减少损耗及建立标准化品质体系具有重要价值。
应用场景
智能采摘引导:利用分割掩膜精准定位成熟果实,引导机械臂避障无损抓取,执行"只采成熟"策略,实现选择性收获。
自动化分选:在线高速检测并剔除过熟与未熟果,按等级自动分流包装,大幅提升分选效率与准确率,降低人工成本。
长势监测与估产:周期性扫描生成成熟度热力图,辅助判断最佳采摘窗口,基于数据科学预估产量以优化产销计划。
育种表型分析:量化记录不同品种成熟进程,客观评估成熟一致性与抗过熟能力,加速优良品种筛选。
博主通过搜集蓝莓成熟度的相关数据图片,根据最前沿的YOLO26目标分割技术,基于python与Pyqt5开发了一款界面简洁的蓝莓成熟度检测与分割系统,能够检测分割不同成熟度的蓝莓,并统计各个类别数量,可支持图片、视频以及摄像头检测,同时可以将图片、视频以及摄像头的检测结果进行保存。本文详细的介绍了此系统的核心功能以及所使用到的技术原理与制作流程。
软件初始界面如下图所示:

检测结果界面如下:

检测结果说明:

蓝莓总数:表示画面中检测到的蓝莓数量;
柱状图:表示画面中每个成熟度蓝莓的数量;
总分割面积占比:表示画面中分割出的蓝莓区域占整张图片的百分比;
用时:表示图片检测用时;
目标选择:下拉框能够选择单个目标,并显示相关信息;
类型:表示当前选择的目标类型;
分割面积占比:表示所选择目标分割区域占整张图片的百分比;
置信度:当前目标的置信度;
目标位置:表示所选择分割目标的检测框坐标信息,框左上角坐标(xmin,ymin),框右下角坐标(xmax,ymax)。
一、软件核心功能介绍及效果演示
软件主要功能
1. 可进行4种成熟度类型检测,类型分别为: ['未成熟','成熟','过熟','半成熟'];
2. 能够统计画面中每个蓝莓成熟度类别数量;
3. 支持图片、图片批量、视频及摄像头进行检测分割;
4. 可显示总分割面积占比以及单个目标的分割面积占比;
5. 界面可实时显示目标位置、分割结果、分割面积占比、置信度、用时等信息;
6. 结果保存:支持图片、视频及摄像头的分割结果保存;
界面参数设置说明

置信度阈值:也就是目标检测时的conf参数,只有检测出的目标置信度大于该值,结果才会显示;交并比阈值:也就是目标检测时的iou参数,只有目标检测框的交并比大于该值,结果才会显示;

显示分割结果:表示是否在检测图片中显示分割结果,默认勾选;显示检测框与标签:表示是否在检测图片中显示检测框与标签,默认勾选;

显示Mask或者显示原始分割图片:表示显示分割的Mask或者原始图片分割内容;
显示Mask或者显示原始分割图片选项的功能效果如下:


(1)图片检测演示
1.点击打开图片按钮,选择需要检测的图片,或者点击打开文件夹按钮,选择需要批量检测图片所在的文件夹,操作演示如下:
2.点击目标下拉框后,可以选定指定目标的结果信息进行显示。
3. 点击保存按钮,会对图片检测结果进行保存,存储路径为:save_data目录下。
4.点击表格中的指定行,界面会显示该行表格所写的信息内容。
注:右侧目标位置默认显示置信度最大一个目标位置,可用下拉框进行信息切换。所有检测结果均在表格中显示。
点击保存按钮,会对图片的检测结果进行保存,共会保存3种类型结果,分别是:检测分割结果标识图片、分割的Mask图片以及原图分割后的图片。存储在save_data目录下,保存结果如下:

(2)视频检测演示
1.点击打开视频图标,打开选择需要检测的视频,就会自动显示检测结果。再次点击该按钮,会关闭视频。
2.点击保存按钮,会对视频检测结果进行保存,同样会保存3种类型结果,分别是:检测分割结果标识视频、分割Mask视频以及原视频分割后的视频,存储路径为:save_data目录下。
(3)摄像头检测演示
1.点击打开摄像头按钮,可以打开摄像头,可以实时进行检测,再次点击该按钮,可关闭摄像头;
2.点击保存按钮,可以进行摄像头实时图像的检测结果保存。
(4)检测结果保存
点击保存按钮后,会将当前选择的图片【含批量图片】、视频或者摄像头的分割结果进行保存。结果会存储在save_data目录下,保存内容如下:

图片检测保存的csv文件信息内容如下:
包括:'文件名', '目标编号', '类别', '置信度', '检测框位置','分割占比',信息。

二、目标分割模型的训练、评估与推理
1.YOLO26简介
本项目采用的是最新的YOLO26目标分割模型。YOLO26 是 Ultralytics 2026 年 1 月推出的新一代计算机视觉模型,主打边缘优先、高效部署。它采用端到端免 NMS 架构,移除 DFL 模块,CPU 推理速度较前代提升 43%;搭配 MuSGD 优化器与 ProgLoss+STAL 损失策略,强化小目标检测能力,支持检测、分割、姿势估计等多任务,可无缝适配树莓派、嵌入式设备等终端,广泛应用于智慧农业、安防监控等领域。
YOLO各版本性能对比:

2. 数据集准备与训练
通过网络上搜集关于蓝莓成熟度相关图片,并使用Labelme标注工具对每张图片中的分割结果及类别进行标注。一共包含1439张图片,其中训练集包含1260张图片,验证集包含120张图片,测试集包含59张图片部分图像及标注如下图所示。


数据集的各类别具体分布如下所示:

图片数据的存放格式如下,在项目目录中新建datasets目录,同时将检测的图片分为训练集、验证集、测试集放入Data目录下。

同时我们需要新建一个data.yaml文件,用于存储训练数据的路径及模型需要进行检测的类别。在进行模型训练时,会读取该文件的信息,用于进行模型的训练与验证。data.yaml的具体内容如下:
python
train: E:\MyCVProgram\3SegProgram\BlurberryRipeSeg_v26\datasets\train/images
val: E:\MyCVProgram\3SegProgram\BlurberryRipeSeg_v26\datasets\valid/images
test: E:\MyCVProgram\3SegProgram\BlurberryRipeSeg_v26\datasets\test/images
nc: 4
names: ['immature', 'mature', 'overmature', 'semi-mature']
注:train与val后面表示需要训练图片的路径,建议直接写自己文件的绝对路径。
数据准备完成后,通过调用train.py文件进行模型训练,epochs参数用于调整训练的轮数,batch参数用于调整训练的批次大小【根据内存大小调整,最小为1】,代码如下:
python
#coding:utf-8
from ultralytics import YOLO
import matplotlib
matplotlib.use('TkAgg')
# 模型配置文件
model_yaml_path = "ultralytics/cfg/models/26/yolo26-seg.yaml"
#数据集配置文件
data_yaml_path = r'PuddleSeg/data/data/data.yaml'
#预训练模型
pre_model_name = 'yolo26n-seg.pt'
if __name__ == '__main__':
#加载预训练模型
model = YOLO(model_yaml_path).load(pre_model_name)
#训练模型
results = model.train(data=data_yaml_path,
epochs=150,
batch=32,
name='train_26')
模型常用训练超参数参数说明:
模型的训练设置包括训练过程中使用的各种超参数和配置。这些设置会影响模型的性能、速度和准确性。关键的训练设置包括批量大小、学习率、动量和权重衰减。此外,优化器、损失函数和训练数据集组成的选择也会影响训练过程。对这些设置进行仔细的调整和实验对于优化性能至关重要。
以下是一些常用的模型训练参数和说明:

3. 训练结果评估
在深度学习中,我们通常用损失函数下降的曲线来观察模型训练的情况。YOLO26在训练时主要包含三个方面的损失:定位损失(box_loss)、分类损失(cls_loss)、动态特征损失(dfl_loss)以及分割损失(seg_loss),在训练结束后,可以在runs/目录下找到训练过程及结果文件,如下所示:

各损失函数作用说明:
定位损失box_loss:预测框与标定框之间的误差(GIoU),越小定位得越准;
分类损失cls_loss:计算锚框与对应的标定分类是否正确,越小分类得越准;
动态特征损失(dfl_loss):DFLLoss是一种用于回归预测框与目标框之间距离的损失函数。在计算损失时,目标框需要缩放到特征图尺度,即除以相应的stride,并与预测的边界框计算Ciou Loss,同时与预测的anchors中心点到各边的距离计算回归DFLLoss。这个过程是YOLO11训练流程中的一部分,通过计算DFLLoss可以更准确地调整预测框的位置,提高目标检测的准确性。
实例分割损失(seg_loss):预测的分割结果与标定分割之前的误差,越小分割的越准确;
语义分割损失(sem_loss):预测的语义分割结果与标定分割之前的误差,结合了 BCE(Binary Cross Entropy)和 Dice 损失,越小分割的越准确。仅在训练时计算,验证时未计算(所以数值为0);
本文训练结果如下:

我们通常用PR曲线来体现精确率和召回率的关系,本文训练结果的PR曲线如下。mAP表示Precision和Recall作为两轴作图后围成的面积,m表示平均,@后面的数表示判定iou为正负样本的阈值。mAP@.5:表示阈值大于0.5的平均mAP。
定位结果的PR曲线如下:

分割结果的PR曲线如下:

从上面图片曲线结果可以看到:定位的平均精度为0.794,分割的平均精度为0.787,结果还是很不错的。
4. 模型推理
模型训练完成后,我们可以得到一个最佳的训练结果模型best.pt文件,在runs/trian/weights目录下。我们可以使用该文件进行后续的推理检测。
图片检测代码如下:
python
#coding:utf-8
from ultralytics import YOLO
import cv2
# 所需加载的模型目录
path = 'models/best.pt'
# 需要检测的图片地址
img_path = "TestFiles/00036_png.rf.fe91d596d8aedae404a60659c9819748.jpg"
# 加载预训练模型
# conf 0.25 object confidence threshold for detection
# iou 0.7 intersection over union (IoU) threshold for NMS
model = YOLO(path, task='segment')
# 检测图片
results = model(img_path)
res = results[0].plot()
# res = cv2.resize(res,dsize=None,fx=0.5,fy=0.5,interpolation=cv2.INTER_LINEAR)
cv2.imshow("YOLO Detection", res)
cv2.waitKey(0)
执行上述代码后,会将执行的结果直接标注在图片上,结果如下:

更多检测结果展示如下:

四、可视化系统制作
基于上述训练出的分割模型,为了给此检测系统提供一个用户友好的操作平台,使用户能够便捷、高效地进行检测任务。博主基于Pyqt5开发了一个可视化的系统界面,通过图形用户界面(GUI),用户可以轻松地在图片、视频和摄像头实时检测之间切换,无需掌握复杂的编程技能即可操作系统。【系统详细展示见第一部分内容】
Pyqt5详细介绍
关于Pyqt5的详细介绍可以参考之前的博客文章:《Python中的Pyqt5详细介绍:基本机构、部件、布局管理、信号与槽、跨平台》,地址:
系统制作
博主基于Pyqt5框架开发了此款蓝莓成熟度检测与分割系统,即文中第一部分的演示内容 ,能够很好的支持图片、视频及摄像头进行检测,同时支持检测结果的保存。

通过图形用户界面(GUI),用户可以轻松地在图片、视频和摄像头实时检测之间切换,无需掌握复杂的编程技能即可操作系统。这不仅提升了系统的可用性和用户体验,还使得检测过程更加直观透明,便于结果的实时观察和分析。此外,GUI还可以集成其他功能,如检测结果的保存与导出、检测参数的调整,从而为用户提供一个全面、综合的检测工作环境,促进智能检测技术的广泛应用。
【获取方式】
本文涉及到的完整全部程序文件:包括环境配置文档说明、python源码、数据集、训练代码、UI文件、测试图片视频 等(见下图),获取方式:

注意:该代码基于Python3.9开发,运行界面的主程序为
MainProgram.py,其他测试脚本说明见上图。为确保程序顺利运行,请按照程序运行说明文档txt配置软件运行所需环境。