PhotoMaker部署文档

一、介绍

PhotoMaker:一种高效的、个性化的文本转图像生成方法,能通过堆叠 ID 嵌入自定义逼真的人类照片。相当于把一张人的照片特征提取出来,然后可以生成你想要的不同风格照片,如写真等等。

主要特点:

  1. 在几秒钟内快速定制,无需额外的 LoRA 培训。
  2. 确保令人印象深刻的 ID 保真度,提供多样性、有前途的文本可控性和高质量的生成。
  3. 可以用作适配器 ,与社区中的其他基础模型以及 LoRA 模块进行协作。

二、部署

本文档基于ComfyUI进行搭建

环境要求:

  • Python >= 3.8(推荐使用 Anaconda 或 Miniconda)
  • PyTorch >= 2.0.0

1. 部署 ComfyUI

本篇的模型部署是在 ComfyUI 的基础上进行,如果没有部署过 ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:

(1)使用命令克隆 ComfyUI

复制代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。

(3)创建虚拟环境

输入下面的命令:

复制代码
conda create -n comfyui
conda activate comfyui

(4)安装 pytorch

复制代码
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

(5)安装项目依赖

复制代码
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

复制代码
python main.py

访问网址得到类似下图界面即表示成功启动:

(6)安装Manager

manager 是一个用来加强 ComfyUI 可用性的扩展,提供了对 ComfyUI 各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能,用来访问 ComfyUI 中各种信息。

复制代码
cd /ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个"Manager"如图:

到这里 Comfy UI 就初步搭建好了(这里只是简单实现 ComfyUI 的基础功能,如果想要安装更多细节,请查看"ComfyUI"部署教程)

2. 部署PhotoMaker v2

(1)克隆PhotoMaker-Plus

输入启动命令启动comfyui进入UI界面,点击Manager打开管理器,点击"节点管理":

然后点击搜索"PhotoMaker-plus"(comfyui版)点击下载安装,等待下载完成之后如下图:

(2)下载模型

  1. 该项目需配合stable-diffusion-xl模型使用,所以需下载SDXL:从 Hugging Face搜索下载"RealVisXL_v4.0"将其放到 /ComfyUI/models/diffusers/文件夹中。


    其中,text_encoder_2vaeunet文件夹中的模型文件根据自己的设备能力选择其一下载即可

  2. Hugging Face搜索下载"photomaker-v2"模型,并将其放置在 ComfyUI/models/photomaker文件夹中

  3. 然后搜索 laion/CLIP-ViT-H-14-laion2B-s32B-b79K将其下载到 /ComfyUI/models/clip_vision/文件夹下:

(3)启动项目

/ComfyUI目录下输入下面命令启动项目

复制代码
conda activate comfyui
cd ComfyUI
python main.py

出现下面界面表示运行成功:

此时通过开放IP和端口号访问UI界面,如下图:

将/ComfyUI/custom_nodes/ComfyUI-PhotoMaker-Plus/examples/文件夹下的 v2-workflow.json文件(工作流)放入UI界面即可,可出现类似下图:

上图即为PotoMaker项目的工作流,输入各参数后即可出图:

相关推荐
Niuguangshuo16 小时前
深入解析Stable Diffusion基石——潜在扩散模型(LDMs)
人工智能·计算机视觉·stable diffusion
迈火16 小时前
SD - Latent - Interposer:解锁Stable Diffusion潜在空间的创意工具
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
wfeqhfxz258878216 小时前
YOLO13-C3k2-GhostDynamicConv烟雾检测算法实现与优化
人工智能·算法·计算机视觉
芝士爱知识a16 小时前
2026年AI面试软件推荐
人工智能·面试·职场和发展·大模型·ai教育·考公·智蛙面试
Li emily17 小时前
解决港股实时行情数据 API 接入难题
人工智能·python·fastapi
Aaron158817 小时前
基于RFSOC的数字射频存储技术应用分析
c语言·人工智能·驱动开发·算法·fpga开发·硬件工程·信号处理
J_Xiong011717 小时前
【Agents篇】04:Agent 的推理能力——思维链与自我反思
人工智能·ai agent·推理
星爷AG I17 小时前
9-26 主动视觉(AGI基础理论)
人工智能·计算机视觉·agi
爱吃泡芙的小白白17 小时前
CNN参数量计算全解析:从基础公式到前沿优化
人工智能·神经网络·cnn·参数量
拐爷18 小时前
vibe‑coding 九阳神功之喂:把链接喂成“本地知识”,AI 才能稳定干活(API / 设计 / 报道 / 截图)
人工智能