论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing

Step1X-Edit 论文

当前图像编辑数据集规模小,质量差,由此构建了如下数据构造管线。

高质量三元组数据(源图像、编辑指令、目标图像)。

  • 主体添加与移除:使用 Florence-2 对专有数据集标注,然后使用 SAM2 进行分割,再使用 ObjectRemovalAlpha 进行修复。编辑指令结合 Step-1o 和 GPT-4o 生成,然后人工审查有效性。
  • 主体替换与背景更改:使用 Florence-2 对专有数据集标注,然后使用 SAM2 进行分割,再使用 Qwen-2.5VL 和 Recognize-Anything Model 识别目标对象和关键词,使用 Flux-Fill 进行内容感知修复。指令由 Step-1o 生成并人工审查。
  • 色彩更改与材质修改:在图像中检测到对象后,使用 Zeodepth 深度估计,使用带扩散模型的 ControlNet 生成新图像。
  • 文本修改:使用 PPOCR 识别字符,以及 Step-1o 模型区分文本正确、错误区域。同样生成编辑指令。
  • 运动变化:使用 Koala-36M 的视频,提取帧作为输入,使用 BiRefNet 和 RAFT 进行前景-背景和光流估计,再用 GPT-4o 标记帧间运动变化作为编辑指令。
  • 人像编辑与美化:对于动画风格和真实图像,先提取边缘,再利用 ControlNet 进行风格迁移。
  • 采用上下文、双语标注。

之前的模态融合,FLUX-Fill 使用通道连接,但面对图像编辑指令不够灵活(难以处理局部调整、缺乏语义对齐、难以处理复杂指令);SeedEdit 引入额外的因果自注意力,但会牺牲图像细粒度;DreamEngine 利用 Qwen 对图像和文本模态对齐,建立了共享表征空间,难以完全捕捉图像细粒度(更关注语义对齐)。
Step1X-Edit

  • 输入的编辑指令和参考图像首先通过MLLM进行处理。为了隔离和强调与编辑任务相关的语义元素,选择性地丢弃与系统前缀相关的标记嵌入,仅保留与编辑信息直接对齐的嵌入。
  • 提取的嵌入被输入到轻量级的连接器模块,重构为更紧凑的多模态特征表示,然后作为输入传递给下游的DiT网络。采用标记连接(token concatenation)的方式,平衡对编辑指令的响应性与对细粒度图像细节的保留。这种方法比通道连接或额外的自注意力机制更有效。
  • 在训练过程中,联合优化连接器模块和下游的DiT,仅使用扩散损失进行训练,确保稳定训练而不依赖掩码损失技巧。(采用 Rectified Flow 方式)
  • 并且对 VLLM 输出的有效嵌入计算均值,将其作为 DiT 的引导。

实验

团队从互联网上收集了超过1K的用户编辑实例,构建了GEdit-Bench,包含606个真实用户编辑指令,覆盖11类任务。为确保隐私,所有图像经过去标识化处理。与其他基准(如EditBench和MagicBrush)相比,GEdit-Bench更贴近实际需求。


疑问:本文仅在自己构建的测试集上评估,并缺乏消融实验验证架构设计。

相关推荐
wrynhyxa1 分钟前
回归的wry
经验分享·笔记
linweidong5 分钟前
如何设计和实施高效的向量化数据检索解决方案
人工智能·机器学习·大模型·agent·milvus·faiss·向量索引
TextIn智能文档云平台28 分钟前
当文档包含图文混排表格时,如何结合大模型(如DeepSeek-VL)和OCR提取数据
人工智能·ocr·大模型文档应用
小关会打代码32 分钟前
机器学习第三课之逻辑回归(三)LogisticRegression
人工智能·机器学习·逻辑回归·下采样·过采样
我不是小upper40 分钟前
模型蒸馏(Distillation):原理、算法、应用
人工智能·算法·自然语言处理·llm·算法蒸馏
特种加菲猫1 小时前
从exec到Shell:深度解析Linux进程等待,程序替换与自主Shell实现
linux·笔记
这张生成的图像能检测吗2 小时前
(论文速读)RMT:Retentive+ViT的视觉新骨干
人工智能·深度学习·计算机视觉·transformer·注意力机制
七月shi人7 小时前
【AI编程工具IDE/CLI/插件专栏】-国外IDE与Cursor能力对比
ide·人工智能·ai编程·代码助手
2zcode9 小时前
基于Matlab的深度学习智能行人检测与统计系统
人工智能·深度学习·目标跟踪
宇寒风暖9 小时前
Flask 框架全面详解
笔记·后端·python·学习·flask·知识