ComfyUI-unclip模型部署指南

一、介绍

unCLIP 模型是 SD 模型的版本,经过专门调整,除了文本提示之外,还可以接收图像概念作为输入。使用这些模型附带的 CLIPVision 对图像进行编码,然后在采样时将其提取的概念传递给主模型。

它并不是按照传统意义将图像混合在一起,而是实际上从两者中挑选了一些概念并制作了一个连贯的图像。

二、容器构建说明

本文档针对 ComfyUI 进行部署使用,因此在正式部署之前需要部署 ComfyUI

1. 部署 ComfyUI

(1)使用命令克隆 ComfyUI

复制代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。

(3)创建虚拟环境

输入下面的命令:

复制代码
conda create -n comfyui python=3.10
conda activate comfyui

(4)安装 pytorch

复制代码
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

(5)安装项目依赖

复制代码
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

复制代码
python main.py

访问网址得到类似下图界面即表示成功启动:

2. 部署 unclip 模型

(1)下载 sd21-unclip-h 模型

访问 Hugging Face 搜索"stabilityai/stable-diffusion-2-1-unclip"下载下图的模型,也可以点击这里进入。首次访问该页面时,可能需要同意用户协议才能看到模型下载页。

(2)下载工作流

进入网站:unCLIP 模型示例 |ComfyUI_examples (comfyanonymous.github.io)并将下图下载,然后拖入 Comfy UI 中:

然后你的 ComfyUI 中应该会出选相应的工作流,类似下图:

至此unclip就可以实现了

相关推荐
TMT星球4 分钟前
大晓发布全球首个可仿真人–场景交互重建框架HSImul3R
人工智能·科技·机器人
kyriewen6 分钟前
面试官问我:AI 都能写代码了,前端凭什么还值 25K
前端·javascript·人工智能
FPC工厂——皇榜科技13 分钟前
机器人灵巧手线路板:从“握得住”到“摸得准”:一只机械手的柔性神经密码
网络·人工智能·科技·机器人·pcb工艺
JMchen12316 分钟前
Cursor高阶玩法:.cursorrules编写与Spec-Driven开发实战,把AI调教成专属结对编程搭档
人工智能·vscode·kotlin·cursor·结对编程·spec-driven·.cursorrules
szxinmai主板定制专家27 分钟前
基于 RK3588+RK1820/28 算力卡的国产工控机,适用于机器视觉,机器人等边缘算力场景
人工智能·fpga开发·zynq·控制器·mpsoc·半导体设备
右耳朵猫AI38 分钟前
PHP周刊2026W36 | Laravel AI SDK 0.11可观测、Symfony 8.1.5、Octane并发、事件溯源
人工智能·php·laravel
知几蜗牛1 小时前
ChatGPT Images 2.5更新解析:模板、草图与迭代编辑
人工智能
223糖1 小时前
思考 AI 应用架构
人工智能·架构
IT_陈寒1 小时前
React子组件莫名其妙重渲染?你可能漏了这个Hook
前端·人工智能·后端
张继雁1 小时前
张继雁 个人技术简介|磨削加工过滤方向
大数据·数据库·论文阅读·人工智能·机器学习·创业创新·业界资讯