ComfyUI秋叶整合包安装JoyCaption

ComfyUI继承了开源软件的光荣传统,装点插件真的很不容易。

今天(2026/2/7)来讲讲装JoyCaption这个插件的经历。这个插件的作用是从图片反推出AI生图的提示词。

第一步很简单

使用秋叶整合包从ComfyUI Manager的插件列表里找到它,进行安装。

第二步下载模型

按照 https://github.com/1038lab/ComfyUI-JoyCaption 里的说法,有一个llama-joycaption-beta-one-llava-mmproj-model-f16模型是必须的。放到ComfyUI/Models/LLM/GGUF目录下。

llama-joycaption-beta-one-llava-mmproj-model-f16模型 是 多模态投影层,负责将图片转换为语言模型能理解的特征向量。没有它,模型"看不到"图片,只能文本生成。

其中:

mmproj = Multi-Modal Projection

GGUF 是 GPT-Generated Unified Format 的缩写,是一种专为大型语言模型(LLM)设计的量化模型格式。它由 llama.cpp 项目开发,旨在让大模型能在消费级硬件(尤其是 CPU 和普通显卡)上高效运行。

除了这个多模态投影层,大语言模型则有两个选择,

一个是标准模型:

另一个选择是下载GGUF的大语言模型:

标准模型是若干个safetensors文件,下载以后还要合并,很麻烦。此外从大小和效果上,都推荐安装GGUF模型,根据你的显存大小选一个即可。

第三步使用

启动ComfyUI,你会在AILab分类下找到5个JoyCaption Node:

但是问题来了,你刚才下载的GGUF模型,而这几个默认Node,是给标准模型用的。

给GGUF模型用的Node,叫JoyCaption GGUF。目前找不到。磨难开始。

第四步安装llama-cpp-python

在JoyCaption的目录(ComfyUI\custom_nodes\ComfyUI-JoyCaption)里找到Readme文件,其实里面写了,要用GGUF的大语言模型,必须安装llama-cpp-python(llama.cpp 项目催生了 GGUF 格式,而 llama-cpp-python 是它在 Python 上的封装。),且有两个选项:

安装过程会遇到两个坑。

先提一句,最完美的情况是你能在网上找到你CUDA版本对应的预编译的llama-cpp-python wheel包(比如https://github.com/dougeeai/llama-cpp-python-wheels)。那会是最方便的,直接装wheel包,可以避开下面两个坑。

一号坑:

安装过程发生如下报错:

使用编译的方式安装的前提是你电脑有cmake,即需要安装 C++ 编译环境。

Windows可以从这里1下载:https://visualstudio.microsoft.com/visual-cpp-build-tools/

最小化安装选择:"使用 C++ 的桌面开发" -> CMake工具 + VS 2022 C++ x64/x86 生成工具。

安装后重启电脑。

二号坑:

这个问题和秋叶整合包有些关系,秋叶整合包中只有Cuda的运行时,没有编译环境(CUDA Toolkit)。

有两种解决办法,

  1. 你自己再安装一个CUDA Toolkit,当然版本要和秋叶包保持一致。

  2. 强制使用CPU模式进行编译,修改llama_cpp_install.py文件,强行指定has_gpu=False

注意使用CPU模式后,JoyCaption GGUF生成提示词的时间比GPU要长很多,我12代I5 CPU对于一张4K的图片生成提示词要2分钟。供参考。

重启ComfyUI后,你就能找到:

使用截图:

相关推荐
Eric.461 天前
秋叶ComfyUI-AKI最新整合包|完整部署教程+核心指令手册
云计算·百度云·comfyui·ai漫剧
Eric.461 天前
2026最新|ComfyUI AI漫剧全自动教程:统一人设、智能分镜、插帧动效、批量成片保姆级指南
人工智能·ai绘画·comfyui·本地部署·ai漫剧
梦想的颜色1 天前
ComfyUI 深度硬核科普:节点式 AI 生成框架完整实战(安装、原理、使用场景、避坑)
人工智能·机器学习·计算机视觉·aigc·comfyui·ai视频·图生视频
刘广睿3 天前
AI 生图从玄学到工程:Stable Diffusion、ComfyUI 与 Midjourney 的原理与 Prompt 方法论
aigc·stablediffusion·comfyui·ai生图
ICollection5 天前
4060笔记本用Docker部署ComfyUI绘图
docker·comfyui
进击切图仔10 天前
ComfyUI 安装新模型
comfyui
进击切图仔10 天前
ComfyUI 安装复现教程
comfyui
Eric.4610 天前
2026 AI 漫剧叙事可控性深度工程:解决逻辑崩坏、镜头错乱、道具漂移的高阶落地方案
人工智能·stable diffusion·comfyui·ai漫剧
Eric.4612 天前
OpenClaw 结合 Stable Diffusion 与 ComfyUI 实现本地离线 AI 漫剧全自动流水线|批量渲染、人设一致性、帧闪烁问题工程实践
人工智能·stable diffusion·comfyui·ai漫剧
Eric.4612 天前
Stable Diffusion+ComfyUI+OpenClaw AI漫剧量产提示词工程:结构化Prompt、负面词脱敏、权重锁定防画面崩坏全方案
大数据·人工智能·stable diffusion·prompt·comfyui·ai漫剧