本文章仅对本人前期工作进行总结,文章内容供读者参考,代码不对外公开
文章目录
- 1、CycleGAN
-
- [1.1 数据集配置](#1.1 数据集配置)
- [1.2 环境配置](#1.2 环境配置)
- [1.3 参数配置](#1.3 参数配置)
- [1.4 可视化训练过程](#1.4 可视化训练过程)
- [1.5 训练结果](#1.5 训练结果)
- [1.5 结果测试](#1.5 结果测试)
- 2、YOLOv8
-
- [2.1 数据集配置](#2.1 数据集配置)
- [2.2 网络结构配置](#2.2 网络结构配置)
- [2.3 训练细节](#2.3 训练细节)
- [2.4 测试](#2.4 测试)
- 3、DeepSORT
1、CycleGAN
CycleGAN是一种用于无配对图像风格转换的深度学习模型,能够在没有成对训练数据的情况下,实现不同域之间的图像风格转换。
1.1 数据集配置
在dataset文件夹下创建自己的数据文件夹mydata
python
dataset
├── mydata
| ├── trainA
| ├── trainB
| ├── testA
| └── testB
其中,trainA和trainB文件夹分别放源域图片和目标域图片,testA和testB文件夹分别放要测试的图片。
1.2 环境配置
在菜单栏Run->Edit Configurations中进行数据集的配置
配置页面中选择train选项,进行配置
如果进入配置页面中没有出现train选项,可以先运行一下train.py,报错没有配置数据集路径,然后再次进入配置页面就出现train选项了。
1.3 参数配置
options文件下有train_options.py和test_options.py文件,分别用于训练和测试过程中的参数配置,训练时的参数主要修改opochs,这两个参数之和即为总的训练轮数,如图所示即为训练50轮。
测试过程中参数无需调整。
环境和数据配置好后直接运行train.py即可开始运行CycleGAN网络
1.4 可视化训练过程
如果想观察训练过程中的细节,则可以开启visdom服务(可视化界面),运行前在终端输入指令:
python
python -m visdom.server
点击链接即可打开网页,此时页面内是空白的,运行训练代码后刷新网页即可看到训练过程。
1.5 训练结果
训练结束后,权重文件保存在checkpoints文件夹下的mydata_cyclegan中
python
checkpoints
├── mydata_cyclegan
| ├── 5_net_D_A.pth
| ├── 5_net_D_B.pth
| ├── 5_net_G_A.pth
| └── 5_net_G_B.pth
| ├── 10_net_D_A.pth
| ├── 10_net_D_B.pth
| ├── 10_net_G_A.pth
| └── 10_net_G_B.pth
| └── 。。。
默认是每隔5轮保存一次结果,也可以修改训练参数save_epoch_freq指定轮数间隔保存
其中,字母D表示判别器结果,G表示生成器结果,A、B代表域之间的转换方向
1.5 结果测试
测试时,首先将训练好的权重文件拷贝到checkpoints文件夹下的mydata_pretrained中,并且改名为latest_net_G.pth
python
checkpoints
├── mydata_pretrained
| ├── latest_net_G.pth
| ├── test_opt.txt
├── mydata_cyclegan
| ├── 5_net_D_A.pth
| ├── 5_net_D_B.pth
例如,我要测试A->B的转换效果,将10_net_G_A.pth文件复制到mydata_pretrained中,并改名latest_net_G.pth
配置测试环境,和配置训练环境一样,在Edit Configurations中选择test,进行配置,数据路径写的是testA的路径
配置好后,运行test.py即可进行测试。
测试结果的保存地址为.\results\mydata_pretrained
在images文件夹中保存有原图和转换后的图,点击index.html可以在网页中查看对比效果
2、YOLOv8
YOLOv8网络架构可以分为主干网络(Backbone)、颈部(Neck)和头部(Head)三个主要部分,其自身包含了目标分类、目标检测、语义分割、姿态估计、目标跟踪。本人只使用到了目标检测和跟踪。
2.1 数据集配置
数据集配置文件为yaml格式,其内容如下,path指根目录,val为验证图片,test为测试图片,nc指目标类别,names为目标类别的名称。本人的任务为语义分割,故目标类别为1
其中train和val是模型训练过程中会用到的数据集,test数据集可作为模型性能的验证数据集
python
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: D:\Desktop\gasdata\12remove_color_50 # dataset root dir
train: D:\Desktop\gasdata\12remove_color_50\images\train # train images (relative to 'path') 4 images
val: D:\Desktop\gasdata\12remove_color_50\images\val # val images (relative to 'path') 4 images
test: D:\Desktop\gasdata\12remove_color_50\images\test # test images (optional)
nc: 1
# Classes
names:
0: gas
数据集实际目录结构如下:
python
root
├── images
| ├── train
| | ├── image01.jpg
| | ├── image02.jpg
| ├── val
| | ├── image03.jpg
| | ├── image04.jpg
| ├── test
| | ├── image05.jpg
| | ├── image06.jpg
├── labels
| ├── train
| | ├── label01.txt
| | ├── label02.txt
| ├── val
| | ├── label03.txt
| | ├── label04.txt
| ├── test
| | ├── label05.txt
| | ├── label06.txt
本人任务是语义分割,故txt标签为多边形框构成的,每一行由目标标签值0开头
,后续跟着坐标点的值,具体json转txt代码见本人codes备份
2.2 网络结构配置
网络结构文件在ultralytics/cfg/models/v8中
添加注意力机制方法见本人的另一篇博客
2.3 训练细节
在train.py中写好数据集路径及网络结构路径即可开始训练
python
## train.py
model = YOLO('yolov8-seg-SEAttention.yaml') # 网络结构路径
model.train(data='mydata_low_color.yaml', # 数据集路径
cache=False,
imgsz=640, # 网络输入图片大小
epochs=800, # 训练轮数,可以写大一点,因为有早停机制
batch=16, # 批大小
close_mosaic=10,
workers=4,
device='0',
optimizer='SGD', # using SGD
project='runs/train',
name='exp',
)
。。。
python
## default.yaml ultralytics/cfg/default.yaml
有更多详细的训练参数,patience代表早停轮数
2.4 测试
detect.py对模型进行测试,输入需要测试的图片路径,直接输出检测的结果
val.py对模型的性能进行验证,输出具体的测试指标,使用的数据集是test
track.py输入视频文件,即可对目标进行跟踪
3、DeepSORT
使用改良的模型进行目标跟踪时,要注意在ultralytics/nn/modules中加入添加的模块,本人在项目D:\Desktop\yolov8\YOLOv8_Segmentation_DeepSORT_Object_Tracking-main\ultralytics\nn中已经添加好了
找到predict_3.py文件:
D:\Desktop\yolov8\YOLOv8_Segmentation_DeepSORT_Object_Tracking-main\ultralytics\yolo\v8\segment\predict_3.py
配置网络模型文件以及视频文件,即可对目标进行跟踪,
结果保存在同级文件夹runs中,detect中保存的是跟踪的视频,results中保存的是跟踪的数据,exp0016.json即为详细的数据,每次运行后都会自动+1保存
python
01draw-count.py # 目标数量变化
02draw-size.py # 目标大小变化
03draw-move.py # 目标位移变化
04draw-percent.py # 目标占总面积百分比变化
05draw-ratio.py # 目标占固定区域百分比变化
运行上述绘图代码后,自动保存到与数据文件exp016.json同名的文件夹exp016中