一个简单有效的数据增强技术:data3

在训练图像到图像的生成任务时,经常会需要涉及到对图像做预处理。

一个最普通的预处理方式,就是统一将图像resize到固定的某个分辨率,比如1024×1024或512×512。或者使用random crop 或 center crop,这是学术界常用的建立Baseline结果的快速方法。

但是很多实习生会把这种学术界的常用方法用到工业界的落地实践中。会发现结果和预期相比大相径庭。

经过我的实际探索,发现了一个比较行之有效的数据增强方案,我称之为Data3

具体来说,我需要让模型能够充分利用数据的所有价值,包括全集信息和局部信息。同时,不能破坏数据的原始结构,也就是不能进行过分的缩放,也不能改变图像原始的长宽比。

talk is cheap, here is code

python 复制代码
from dmlutils.image_operations import (
    pad_short_side_to_size,
    resize_short_side_to_size,
    resize_long_side_to_size,
)


def data3_process_xy_pair(name, x, y, size=1024):
    """
    处理图像对 (x, y)
    
    Args:
        name: 数据名称
        x: 输入图像(草稿)
        y: 输出图像(线稿)
        size: 目标尺寸
    
    Yields:
        (name, {"x": x, "y": y})
    """
    assert x.size == y.size
    
    if min(x.size) > size:
        # ===== 大图: 生成2个版本 =====
        # v1: 短边缩放到 size(可随机crop获取局部)
        x1 = resize_short_side_to_size(x, size)
        y1 = resize_short_side_to_size(y, size)
        yield f"{name}_short", {"x": x1, "y": y1}
        
        # v2: 长边缩放 + pad 到 size(获取完整图)
        x2 = pad_short_side_to_size(resize_long_side_to_size(x, size), size)
        y2 = pad_short_side_to_size(resize_long_side_to_size(y, size), size)
        yield f"{name}_long", {"x": x2, "y": y2}
    
    else:
        # ===== 小图: 只生成1个版本 =====
        # 直接 pad 到 size
        x1 = pad_short_side_to_size(x, size)
        y1 = pad_short_side_to_size(y, size)
        yield f"{name}_pad", {"x": x1, "y": y1}


# ===== 使用示例 =====
for name, (x, y) in data_list:
    for out_name, data in data3_process_xy_pair(name, x, y):
        save(out_name, data)

以上代码的库函数来自这里 https://github.com/RaccoonDML/common_utils ,可以直接安装dmlutils包,当然这三个函数逻辑也很简单,自己实现也可以。

结果就是能够简单粗暴的提升模型效果,谁用谁知道(有用的话记得点个star, 没用的话可以回来留下恶评)

此外如果你的任务对结果的某些细节有更高的要求,比如对生成人物的头部或者手部,还可以在data3的基础上加上头部检测或者手部检测

相关推荐
伞伞悦读28 分钟前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177771 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.2 小时前
AI大模型术语
人工智能
土豆12504 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI6 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我6 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风6 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT6 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人6 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1