论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing

Step1X-Edit 论文

当前图像编辑数据集规模小,质量差,由此构建了如下数据构造管线。

高质量三元组数据(源图像、编辑指令、目标图像)。

  • 主体添加与移除:使用 Florence-2 对专有数据集标注,然后使用 SAM2 进行分割,再使用 ObjectRemovalAlpha 进行修复。编辑指令结合 Step-1o 和 GPT-4o 生成,然后人工审查有效性。
  • 主体替换与背景更改:使用 Florence-2 对专有数据集标注,然后使用 SAM2 进行分割,再使用 Qwen-2.5VL 和 Recognize-Anything Model 识别目标对象和关键词,使用 Flux-Fill 进行内容感知修复。指令由 Step-1o 生成并人工审查。
  • 色彩更改与材质修改:在图像中检测到对象后,使用 Zeodepth 深度估计,使用带扩散模型的 ControlNet 生成新图像。
  • 文本修改:使用 PPOCR 识别字符,以及 Step-1o 模型区分文本正确、错误区域。同样生成编辑指令。
  • 运动变化:使用 Koala-36M 的视频,提取帧作为输入,使用 BiRefNet 和 RAFT 进行前景-背景和光流估计,再用 GPT-4o 标记帧间运动变化作为编辑指令。
  • 人像编辑与美化:对于动画风格和真实图像,先提取边缘,再利用 ControlNet 进行风格迁移。
  • 采用上下文、双语标注。

之前的模态融合,FLUX-Fill 使用通道连接,但面对图像编辑指令不够灵活(难以处理局部调整、缺乏语义对齐、难以处理复杂指令);SeedEdit 引入额外的因果自注意力,但会牺牲图像细粒度;DreamEngine 利用 Qwen 对图像和文本模态对齐,建立了共享表征空间,难以完全捕捉图像细粒度(更关注语义对齐)。
Step1X-Edit

  • 输入的编辑指令和参考图像首先通过MLLM进行处理。为了隔离和强调与编辑任务相关的语义元素,选择性地丢弃与系统前缀相关的标记嵌入,仅保留与编辑信息直接对齐的嵌入。
  • 提取的嵌入被输入到轻量级的连接器模块,重构为更紧凑的多模态特征表示,然后作为输入传递给下游的DiT网络。采用标记连接(token concatenation)的方式,平衡对编辑指令的响应性与对细粒度图像细节的保留。这种方法比通道连接或额外的自注意力机制更有效。
  • 在训练过程中,联合优化连接器模块和下游的DiT,仅使用扩散损失进行训练,确保稳定训练而不依赖掩码损失技巧。(采用 Rectified Flow 方式)
  • 并且对 VLLM 输出的有效嵌入计算均值,将其作为 DiT 的引导。

实验

团队从互联网上收集了超过1K的用户编辑实例,构建了GEdit-Bench,包含606个真实用户编辑指令,覆盖11类任务。为确保隐私,所有图像经过去标识化处理。与其他基准(如EditBench和MagicBrush)相比,GEdit-Bench更贴近实际需求。


疑问:本文仅在自己构建的测试集上评估,并缺乏消融实验验证架构设计。

相关推荐
梅见十柒5 分钟前
UNIX网络编程笔记:高级套接字编程20-25
网络·经验分享·笔记·unix
掘金安东尼20 分钟前
互联网不再由 URL 为核心入口
前端·人工智能·github
XZSSWJS30 分钟前
机器视觉学习-day03-灰度化实验-二值化和自适应二值化
人工智能·学习·计算机视觉
martian66537 分钟前
大模型部署:AI大模型在医学影像分类中的ONNX、TensorRT和Docker应用
人工智能·docker·分类·ai大模型·hugging face
Monkey的自我迭代43 分钟前
深度学习入门第一课——神经网络实现手写数字识别
人工智能·深度学习·神经网络
IT_陈寒1 小时前
3年Java开发经验总结:提升50%编码效率的7个核心技巧与实战案例
前端·人工智能·后端
wjt1020201 小时前
支持向量机(SVM)内容概述
人工智能·机器学习·支持向量机
不爱学英文的码字机器2 小时前
[CS创世SD NAND征文] CS创世CSNP1GCR01-AOW在运动控制卡中的高可靠应用
人工智能·嵌入式硬件·物联网·iot
chian-ocean5 小时前
Bright Data 代理 + MCP :解决 Google 搜索反爬的完整方案
人工智能·python
GIS小天6 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年8月25日第170弹
人工智能·算法·机器学习·彩票