目标检测——数据处理

1. Mosaic 数据增强

Mosaic 数据增强步骤:

(1). 选择四个图像:

  • 从数据集中随机选择四张图像 。这四张图像是用来组合成一个新图像的基础

(2) 确定拼接位置:

  • 设计一个新的画布(输入size的2倍),在指定范围内找出一个随机点(如图1所示: 范围在320 ~ 960之间)
  • 每一张小图按照长边resize到输入的输入size的大小,然后依次拼接到对应位置

(3) 调整图像大小和裁剪:

  • 对每个选定的图像进行缩放和裁剪,使其适合分配给它的区域。 这样可以确保每个图像都能很好地适应其对应的象限,并且不会超出边界。

(4) 调整标签:

  • 如果你在进行目标检测任务,还需要调整每个图像中的目标框(bounding boxes)的坐标,使其适应新的复合图像的位置。具体来说,需要根据图像在复合图像中的位置重新计算目标框的位置和尺寸。

(5) 应用其他增强操作(可选):

  • 生成的复合图像上可以进一步应用其他常见的数据增强技术 ,如颜色抖动(color jittering)、水平翻转(horizontal flipping)、旋转(rotation)等,以进一步丰富数据集。

2. CutMix 数据增强

CutMix一种数据增强技术,旨在通过将两张图像的一部分区域进行混合,并相应地调整标签,来增加训练样本的多样性。这种方法不仅能够提高模型的泛化能力,还能有效防止过拟合。

CutMix 数据增强的具体步骤:

(1) 选择两张图像和标签:

  • 从数据集中随机选择两张图像 image1image2 及其对应的标签 label1label2

(2) 确定混合区域:

  • image1 中随机选择一个矩形区域 (x, y, w, h),其中 (x, y) 是矩形的左上角坐标,(w, h)是矩形的宽度和高度。

  • 通常使用均匀分布来随机选择这些参数,例如:

    python 复制代码
    lam = np.random.beta(beta, beta)  # Beta分布参数,用于控制混合比例
    x = np.random.randint(0, image1.shape[1])
    y = np.random.randint(0, image1.shape[0])
    w = int(image1.shape[1] * np.sqrt(1 - lam))
    h = int(image1.shape[0] * np.sqrt(1 - lam))

(3) 裁剪并混合区域:

  • 将 image2 中对应区域的图像裁剪出来,并将其粘贴到 image1 的选定区域中。

  • 这一步可以通过简单的图像操作完成:

    python 复制代码
    def cutmix(image1, image2, x, y, w, h):
        mixed_image = image1.copy()
        mixed_image[y:y+h, x:x+w] = image2[y:y+h, x:x+w]
        return mixed_image

(4) 调整标签:

对于分类任务,标签可以根据混合区域的比例进行线性插值 。假设 lam 是混合区域占总面积的比例,则新图像的标签可以表示为:

python 复制代码
new_label = lam * label1 + (1 - lam) * label2

对于目标检测任务,需要调整每个目标框的位置和标签,以反映混合后的图像内容。具体来说:

  • 如果目标框完全位于混合区域之外,则保留原标签
  • 如果目标框部分位于混合区域之内,则需要根据交集区域调整目标框的位置和大小
相关推荐
速易达网络3 分钟前
[特殊字符]️ 风暴之眼:AI时代IT从业者的重构与重生
人工智能·重构
Sui_Network13 分钟前
探索 Sui 上 BTCfi 的各类资产
大数据·人工智能·科技·游戏·区块链
静心问道19 分钟前
BitDistiller:通过自蒸馏释放 Sub-4-Bit 大语言模型的潜力
人工智能·语言模型·模型加速·ai技术应用
格林威23 分钟前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现轮船检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·视觉检测
alex10032 分钟前
AI Agent开发学习系列 - langchain之LCEL(5):如何创建一个Agent?
人工智能·python·语言模型·langchain·prompt·向量数据库·ai agent
Gession-杰34 分钟前
OpenCV图像梯度、边缘检测、轮廓绘制、凸包检测大合集
人工智能·opencv·计算机视觉
JackieZeng52737 分钟前
Dynamic Model in RL
人工智能
计算机sci论文精选43 分钟前
CVPR 2024 3D传感框架实现无监督场景理解新纪元
人工智能·机器学习·计算机视觉·3d·cvpr·传感技术
小白iP代理1 小时前
动态IP+AI反侦测:新一代爬虫如何绕过生物行为验证?
人工智能·爬虫·tcp/ip
钟屿1 小时前
Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读
论文阅读·图像处理·人工智能·深度学习·计算机视觉