ComfyUI-unclip模型部署指南

一、介绍

unCLIP 模型是 SD 模型的版本,经过专门调整,除了文本提示之外,还可以接收图像概念作为输入。使用这些模型附带的 CLIPVision 对图像进行编码,然后在采样时将其提取的概念传递给主模型。

它并不是按照传统意义将图像混合在一起,而是实际上从两者中挑选了一些概念并制作了一个连贯的图像。

二、容器构建说明

本文档针对 ComfyUI 进行部署使用,因此在正式部署之前需要部署 ComfyUI

1. 部署 ComfyUI

(1)使用命令克隆 ComfyUI

复制代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。

(3)创建虚拟环境

输入下面的命令:

复制代码
conda create -n comfyui python=3.10
conda activate comfyui

(4)安装 pytorch

复制代码
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

(5)安装项目依赖

复制代码
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

复制代码
python main.py

访问网址得到类似下图界面即表示成功启动:

2. 部署 unclip 模型

(1)下载 sd21-unclip-h 模型

访问 Hugging Face 搜索"stabilityai/stable-diffusion-2-1-unclip"下载下图的模型,也可以点击这里进入。首次访问该页面时,可能需要同意用户协议才能看到模型下载页。

(2)下载工作流

进入网站:unCLIP 模型示例 |ComfyUI_examples (comfyanonymous.github.io)并将下图下载,然后拖入 Comfy UI 中:

然后你的 ComfyUI 中应该会出选相应的工作流,类似下图:

至此unclip就可以实现了

相关推荐
Cosolar1 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
花椒技术1 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
其实防守也摸鱼2 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构
泯泷2 小时前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
黑客笔记2 小时前
安全态势感知中的资产失陷排名思考
人工智能·算法·网络安全
用户2707059662592 小时前
Copilot平替方案怎么选:主流工具横向对比
人工智能
好悬给我拽开线2 小时前
EasyHeC++ 用预训练图像模型实现全自动手眼标定
人工智能
Bacon2 小时前
把 Codex 装进 Mac 刘海:Codex Notch 安装与使用指南
人工智能
吕炘嵘2 小时前
DPO loss 降了 75%,模型却没变好:我给手搓 LLM 补了一套评估系统
人工智能
程序员cxuan2 小时前
推荐 10 个 WorkBuddy 中的邪修用法
人工智能·后端·程序员