无需抠图!Qwen-Image-Layered 一键分解图像图层,支持图层级精准编辑

github: https://github.com/QwenLM/Qwen-Image-Layered?tab=readme-ov-file

huggingface 应用:

https://huggingface.co/spaces/Qwen/Qwen-Image-Layered


Qwen-Image-Layered 是一个专注于图像分层分解与编辑的仓库,核心功能是将输入图像分解为多个带透明通道(RGBA)的图层,从而支持对每个图层进行独立操作(如重新着色、替换内容、缩放等),实现高保真且一致的图像编辑。

核心功能

  1. 图像分层分解:将单张图像自动拆解为多个 RGBA 图层,每个图层物理隔离语义或结构组件(如前景物体、背景、文本等)。
  2. 图层独立编辑:分解后的图层可单独修改,不影响其他内容,支持重着色、替换、删除、缩放等操作。
  3. 便捷部署与使用:提供 Gradio 可视化界面,支持一键分解图像并导出为 PPTX 文件(方便图层编辑),以及专门的图层编辑工具。

demo

图层分解与应用

编辑第一层:

编辑第二层:

编辑第三层(修改OCR字符):

删除层:

resize尺寸:

移动obj:

自定义分层数+further decomposition

仓库结构

复制代码
Qwen-Image-Layered/
├── LICENSE           # Apache License 2.0 许可证
├── README.md         # 项目说明、快速开始及使用指南
├── assets/
│   └── test_images/  # 测试用例图像
└── src/
    ├── app.py        # 启动图像分解与PPTX导出的Gradio界面
    └── tool/
        └── edit_rgba_image.py  # 启动图层编辑的Gradio界面

关键特性

  • 分层表示优势:通过物理隔离图层,从根本上保证编辑的一致性(如修改某图层颜色时不影响其他内容)。
  • 支持基础操作:天然适配缩放、重定位、删除等基础编辑操作,且不易失真。
  • 文本提示辅助:可通过文本描述图像整体内容(包括被遮挡元素)辅助分解,但不直接控制单个图层的语义。
  • 模型限制:当前权重主要优化"图像到多RGBA图层分解"任务,"文本到多RGBA图层生成"性能有限。

使用方式

  1. 环境准备

    • 需安装 transformers>=4.51.3(支持 Qwen2.5-VL)

    • 安装最新版 diffuserspython-pptx

      bash 复制代码
      pip install git+https://github.com/huggingface/diffusers
      pip install python-pptx
  2. 快速开始(代码示例)

    python 复制代码
    from diffusers import QwenImageLayeredPipeline
    import torch
    from PIL import Image
    
    pipeline = QwenImageLayeredPipeline.from_pretrained("Qwen/Qwen-Image-Layered")
    pipeline = pipeline.to("cuda", torch.bfloat16)
    
    image = Image.open("assets/test_images/1.png").convert("RGBA")
    inputs = {
        "image": image,
        "generator": torch.Generator(device='cuda').manual_seed(777),
        "true_cfg_scale": 4.0,
        "negative_prompt": " ",
        "num_inference_steps": 50,
        "layers": 4,
        "resolution": 640,
        "cfg_normalize": True,
        "use_en_prompt": True,
    }
    
    with torch.inference_mode():
        output = pipeline(** inputs)
    for i, layer in enumerate(output.images[0]):
        layer.save(f"layer_{i}.png")  # 保存分解后的图层
  3. 可视化界面部署

    • 启动图像分解与 PPTX 导出界面:

      bash 复制代码
      python src/app.py
    • 启动图层编辑界面(基于 Qwen-Image-Edit):

      bash 复制代码
      python src/tool/edit_rgba_image.py

许可证

项目采用 Apache License 2.0,允许自由使用、复制、修改和分发,但需保留原始版权信息和许可证说明。

更多细节可参考仓库的 Research PaperBlogDemo


相关推荐
冬奇Lab2 小时前
一天一个开源项目(第206篇):T3 Code - AI 编程 Agent 的统一控制台
人工智能·开源·资讯
IT古董2 小时前
AI 资讯日报 | 2026年9月1日 :混元 Hy4 开源、DeepSeek 多模态登顶、可灵获国家队 14 亿注资
人工智能·开源
程序员-Benothing2 小时前
OpenAI断供Cursor:当AI巨头开始“清理门户“,开源生态的中立性还能撑多久?
人工智能·开源·大模型
ZhouDevin3 小时前
算法论文/数据集3——CLD(TMLR2025)压缩训练集,仅保留对验证集有益的样本
人工智能·深度学习·算法·计算机视觉
AIGC大时代3 小时前
知网 AIGC 检测在罚什么:均匀句长、低指代、零口癖,并不等于「用过 ChatGPT」
人工智能·chatgpt·nlp·aigc·论文·知网·学术规范
葡萄城技术团队3 小时前
ERP 内置 BI(下):四种技术路线与自研 / 采购 / 开源的 ROI 权衡
开源
阿里技术3 小时前
zg 正式开源:本地检索,不止于关键词
开源·本地检索
船厂电气自动化ai大模型4 小时前
AI大模型与数学/第63课:矩阵定义、矩阵加法、标量乘法(逐级精讲)
数据结构·人工智能·深度学习·线性代数·算法
Jialu.5 小时前
从 102M 到 34M:BERT 到 BiLSTM 的完整知识蒸馏实现
深度学习·nlp·bert
可以想象5 小时前
Agent 层比模型层更重要?从本周 AI 两件大事说起
aigc·ai编程