AI换装-OOTDiffusion使用教程

OOTDiffusion介绍

我们所采用的工具是OOTDiffusion,Demo体验地址:huggingface.co/spaces/levi...

OOTDiffusion 是一款基于 AI 的虚拟服装试穿工具,其主要功能包括:

✅ 服装迁移(Garment Transfer):将一件服装从商品图或平铺图转移到人物身上,支持上半身,下半身,以及全身进行换装

✅ 姿势自适应(Pose Adaptation):自动调整服装以适应不同人体姿势

✅ 细节保留(Detail Preservation):保持服装的纹理、褶皱、图案等细节

✅ 高分辨率生成(HD Output):支持生成高清(如1024×768或更高)的试衣效果

技术特点:

  • 基于扩散模型(Diffusion Model):OOTDiffusion 采用扩散模型进行逐步去噪生成,能更好地处理:

    1. 复杂服装纹理(如格子、印花)
    2. 人体姿势变化(如举手、转身)
    3. 遮挡情况(如长发遮挡衣服)
  • 双分支条件控制(Dual Conditioning)

    1. 人体编码器(Human Encoder):提取人体姿势、体型、肤色等特征
    2. 服装编码器(Garment Encoder):提取服装的纹理、形状、颜色特征
    3. 条件融合模块:通过Cross-Attention或SPADE结构融合两种特征
  • 掩码引导生成(Mask Guidance)

    1. 使用人体解析(Human Parsing)或服装分割(Garment Mask)精确控制服装生成区域
    2. 避免背景或皮肤区域被错误修改
  1. 渐进式细化(Progressive Refinement):在推理阶段,采用多步去噪(通常50~100步)逐步优化细节,提升生成质量。

使用场景

典型应用场景

🛒 电商虚拟试衣:让用户在线"试穿"服装,提升购物体验

👗 时尚设计:快速可视化设计稿的穿着效果

📱 社交娱乐:用于AR试衣、虚拟换装App

🎮 游戏/元宇宙:为虚拟角色生成个性化服装

安装流程

说在前头:Gpu显存至少24g。

  1. clone代码
bash 复制代码
git clone https://github.com/levihsu/OOTDiffusion
  1. 修改代码,默认使用1个gpu卡,编辑run/gradio_ootd.py文件
scss 复制代码
# 原始代码如下:
# openpose_model_dc = OpenPose(1)
# parsing_model_dc = Parsing(1)
# ootd_model_dc = OOTDiffusionDC(1)

# 修改后如下:把1 改成 0
openpose_model_dc = OpenPose(0)
parsing_model_dc = Parsing(0)
ootd_model_dc = OOTDiffusionDC(0)
  1. 修改依赖requirements.txt文件
ini 复制代码
numpy==1.24.4
scipy==1.10.1
scikit-image==0.21.0
opencv-python==4.7.0.72
pillow==9.4.0
diffusers==0.24.0
transformers==4.36.2
accelerate==0.26.1
matplotlib==3.7.4
tqdm==4.64.1
gradio==4.16.0
config==0.5.1
einops==0.7.0
onnxruntime==1.16.2
## fastapi和huggingface_hub是我新增的,需要降低版本,否则运行不了
fastapi==0.111.0
huggingface_hub==0.19.4  ## 
  1. 基于Conda安装依赖
perl 复制代码
conda create -n ootd python==3.10
conda activate ootd
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
pip install -r .\requirements.txt -i https://mirrors.aliyun.com/pypi/simple
  1. 安装model

需要安装的模型有:

  1. ootd
  2. humanparser
  3. openpose
  4. clip-vit-large-patch14

需要把这四个模型添加到checkpoints目录下:

在线下载地址:

统一的下载地址:

链接: pan.baidu.com/s/11pywDv2z... 提取码: q1d3

  1. 启动项目
arduino 复制代码
cd run
python gradio_ootd.py

使用手册

浏览器上直接访问http://localhost:7865

打开项目构建的项目模型Demo地址。

你可以看到半身模型会有14种模特和14种服装款式Demo可进行使用;全身模型会有更多的搭配选项,有上身与下身搭配的服装,也有连衣裙等连体服装,对应选择合适的模特模型即可。

当然也可以自定义上传自己的照片和电商服装(需要抠图后的)

选择或上传好模特照片和服装后,点击Run即可开始生成虚拟服装试穿效果。

注意事项

  1. 模型暂时不能换鞋,训练数据集没有包含鞋子或者其他衣服,搭配的。
  2. 需要抠图,背景要简单,尽量是白底。
  3. 目前代码里暂时只能处理3:4比例的图片。
相关推荐
jndingxin1 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦1 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988942 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03272 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手2 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志3 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界3 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield3 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦3 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt