ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台

最近把 LLaMA-Factory 微调导出的 Qwen3.5-4B 接入 ComfyUI,用它先把中文展台描述扩写成英文提示词,再交给 FLUX.3 Klein 生图。模型在 vLLM 中推理正常,但 ComfyUI 一开始出现重复字符、输出中断甚至文字节点没有内容。

排查后发现,问题不在 LoRA 训练本身,而是 ComfyUI 当前环境中的 Qwen3.5 DeltaNet 增量解码路径与这台机器的 CUDA/融合内核组合不匹配。本文记录模型准备、工作流搭建、补丁部署和验证过程,供需要在新机器迁移的人参考。

本文记录的是一套经过验证的 ComfyUI 0.42.0 环境。补丁针对该版本及当时的 PyTorch/CUDA/comfy_kitchen 组合;其他版本应先检查源文件差异并做短文本测试,不建议盲目覆盖。

一、整体流程

这套工作流分两步完成:Qwen3.5 根据中文输入生成英文展台提示词,FLUX.3 Klein 再根据提示词生成图片。
#mermaid-svg-Z0v2sGNHxxIYtJSC{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Z0v2sGNHxxIYtJSC .error-icon{fill:#552222;}#mermaid-svg-Z0v2sGNHxxIYtJSC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Z0v2sGNHxxIYtJSC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .marker.cross{stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Z0v2sGNHxxIYtJSC p{margin:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label text{fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label span{color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label span p{background-color:transparent;}#mermaid-svg-Z0v2sGNHxxIYtJSC .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC span{fill:#333;color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node rect,#mermaid-svg-Z0v2sGNHxxIYtJSC .node circle,#mermaid-svg-Z0v2sGNHxxIYtJSC .node ellipse,#mermaid-svg-Z0v2sGNHxxIYtJSC .node polygon,#mermaid-svg-Z0v2sGNHxxIYtJSC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .rough-node .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label{text-anchor:middle;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .rough-node .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label{text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node.clickable{cursor:pointer;}#mermaid-svg-Z0v2sGNHxxIYtJSC .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .arrowheadPath{fill:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster text{fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster span{color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Z0v2sGNHxxIYtJSC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC rect.text{fill:none;stroke-width:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape p,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label rect,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Z0v2sGNHxxIYtJSC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 中文展台描述
Qwen3.5 TextGenerate
System Prompt
英文提示词
CLIPTextEncode
工作流使用的 Qwen3-VL 文本编码器
FLUX.3 Klein KSampler
FLUX VAE
图片输出

这里有两个用途不同的文本编码器:

  • Qwen3.5 CLIPLoader 连接 TextGenerate,负责语言生成和提示词扩写。
  • 工作流原有的 Qwen3-VL 编码器连接 CLIPTextEncode,把扩写后的文本编码成 FLUX.3 Klein 所需的 conditioning。

不要把两个加载器当成重复模型删除。若沿用原工作流,还要保留提供 CR Prompt Text 的 ComfyUI_Comfyroll_CustomNodes 和提供 easy showAnything 的 comfyui-easy-use。

二、准备微调模型

本例使用 LLaMA-Factory 导出的 Qwen3.5-4B 微调模型。模型在 vLLM 中已能正常推理。当前案例把导出的 model.safetensors 直接复制并改名为:

text 复制代码
qwen3.5-4B-zhantai-merged.safetensors

文件名后缀不会转换权重格式。只有当导出目录里的文件确实是与基座架构匹配的完整模型权重(例如已合并的模型)时,复制改名才可能直接使用;如果它只是 LoRA adapter 权重,不能靠改名变成完整模型。ComfyUI 能否加载还取决于权重键名、模型结构、量化格式和对应版本的加载器。

把模型放到 ComfyUI 的文本编码器目录,例如:

text 复制代码
/root/ComfyUI/models/text_encoders/qwen3.5-4B-zhantai-merged.safetensors

ComfyUI 0.42.0 的 Qwen3.5 tokenizer 位于源码目录:

text 复制代码
/root/ComfyUI/comfy/text_encoders/qwen35_tokenizer/

检查该目录存在,并确认导出模型的词表、token ID 与 ComfyUI 使用的 tokenizer 兼容。如果微调期间新增了特殊 token,或更换了词表,就不能默认使用内置 tokenizer,需要额外适配。

工作流本身还依赖 FLUX.3 Klein UNet、VAE,以及原图中的 Qwen3-VL 文本编码器。模型文件应分别放在对应的 models/unet/、models/vae/ 和 models/text_encoders/ 子目录,最终在加载节点里选择实际文件名。

三、先确认 ComfyUI 能识别模型

在 ComfyUI 中添加 CLIPLoader,选择:

text 复制代码
clip_name = qwen3.5-4B-zhantai-merged.safetensors
type      = flux3
device    = default

把它连接到 TextGenerate 的 clip 输入。最小测试时只保留 CLIPLoader → TextGenerate → SaveText,先不要混入 FLUX 生图节点。

建议先用短请求验证加载和解码:

text 复制代码
Please expand this into a vivid image generation prompt: a red umbrella left on a wet stone bench in a quiet garden at dawn. Respond in English in one paragraph.

测试阶段将 max_length 设为 128 或 256、thinking=false、use_default_template=true、mtp=off,并把采样关闭。确认输出是一段连贯文字后,再切回实际工作流需要的采样设置。

如果通过 /prompt API 而不是网页 Queue,ComfyUI 0.42.0 的 TextGenerate 动态采样输入在关闭采样时使用字符串:

json 复制代码
"sampling_mode": "off"

开启采样时,除了 "sampling_mode": "on",还要传入 sampling_mode.temperature、sampling_mode.top_k、sampling_mode.top_p、sampling_mode.min_p、sampling_mode.repetition_penalty 和 sampling_mode.seed 等字段。

四、排查重复文字的根因

模型在 vLLM 中正常,并不能证明 ComfyUI 的解码实现也正常。两个推理框架可能使用不同的 KV cache、算子融合和增量解码内核。

这次 ComfyUI 的日志显示 Qwen3.5 已经加载,但生成进度停在 3/3584 附近,随后进入下游节点。对比同一模型的输出后,确认异常集中在单 token 增量解码时使用的 deferred 融合 DeltaNet 路径;切换到 eager recurrent 更新后,文字恢复正常。

修复思路是在 GatedDeltaNet 中加入 _forward_eager_decode(),对单 token 解码直接更新卷积状态和 recurrent state;在 forward() 遇到单 token decode 时调用该方法,绕开当前环境下数值异常的 deferred 融合内核。补丁只改动 Qwen3.5 的单 token 解码分支,prefill 和其他路径仍沿用原实现。

Comfy model compiler graph breaks: 1, rogues: 0 本身不是错误。更有用的信号是:Qwen 模型是否加载、token 进度是否正常走完、TextGenerate 是否输出连贯文本。

五、把补丁部署到新机器

先确认目标机器运行的 ComfyUI 根目录。下面以 /root/ComfyUI 为例;实际路径不同就替换 COMFY。

先从本地 Windows 机器上传修复文件。备份并替换 ComfyUI 的核心文件。目标路径是 comfy/text_encoders/qwen35.py,不是 models/custom_nodes。

bash 复制代码
COMFY=/root/ComfyUI
cd "$COMFY"

cp comfy/text_encoders/qwen35.py \
   comfy/text_encoders/qwen35.py.bak-before-eager
cp /tmp/qwen35_remote.py \
   comfy/text_encoders/qwen35.py

rm -rf comfy/text_encoders/__pycache__
python3 -m py_compile comfy/text_encoders/qwen35.py
sha256sum comfy/text_encoders/qwen35.py

本案例补丁文件的 SHA256:

text 复制代码
7908d5a20eef0b1b97541aaf9e90d6cd0936b37bc7e6b5abdb16cd3e306c5463

若哈希不同,先不要继续,确认上传的文件是否正确。还可以检查补丁分支是否存在:

bash 复制代码
grep -n '_forward_eager_decode' "$COMFY/comfy/text_encoders/qwen35.py"

随后通过机器原有的服务管理器或云平台控制台重启 ComfyUI。确认实际运行目录和补丁内容:

bash 复制代码
PID=$(pgrep -f 'python3 main.py' | head -n 1)
readlink -f "/proc/$PID/cwd"

cd /root/ComfyUI
python3 - <<'PY'
import inspect
import comfy.text_encoders.qwen35 as qwen35

print("module:", qwen35.__file__)
source = inspect.getsource(qwen35.GatedDeltaNet)
print("eager method:", "def _forward_eager_decode" in source)
print("decode branch:", "return self._forward_eager_decode" in source)
PY

两项检查都应为 True,模块路径应指向当前运行的 ComfyUI 目录。刷新浏览器不能替代重启 Python 后端。

六、恢复完整展台工作流

短文本测试通过后,再打开原工作流并检查这些连线:

  1. Qwen3.5 CLIPLoader → TextGenerate.clip。
  2. 中文需求输入 → TextGenerate.prompt。
  3. 展台生成规则 → TextGenerate.system_prompt。
  4. TextGenerate 输出 → 工作流原有 Qwen3-VL CLIPTextEncode.text。
  5. CLIPTextEncode conditioning → FLUX.3 Klein sampler 的 positive 输入。
  6. FLUX.3 Klein UNet、VAE、latent 和 SaveImage 保留原有连接。

本例的 system prompt 要求模型以 zhantai 开头,用英文自然语言描述整体结构、布局、展示元素和细节,并且不能编造输入中没有的品牌或面积。可按自己的数据格式修改规则,但应明确语言、输出格式和禁止臆造的条件。

原工作流的 TextGenerate 参数大致为:max_length=3584、sampling_mode=on、temperature=0.9、top_k=1、top_p=0.7、min_p=0、repetition_penalty=1.0、presence_penalty=1.5、thinking=false、use_default_template=true、mtp=off。先以 128/256 token 完成短测,再按需要提高长度。长输出会明显增加推理时间;不要把很大的 max_length 当成必须生成的长度。

七、验证结果与常见误区

补丁部署后,在 48 GB vGPU 的 ComfyUI 0.42.0 环境中,CLIPLoader → TextGenerate → SaveText 的 128-token 测试生成完成,文本连贯;日志显示 Generating tokens: 100%,推理耗时约 23--57 秒,具体速度取决于机器和运行状态。另一轮使用展台中文需求和 sampling_mode=on 的测试也生成了以 zhantai 开头的英文段落。这里验证的是文字生成节点和模型解码;完整的 FLUX.3 Klein 图片链路需要在新机器上重新 Queue 一次,确认 CLIPTextEncode、采样器和 SaveImage 的输出。

排查时最常见的几个错误是:

  • 把补丁放在 models/custom_nodes。ComfyUI 不会因此替换核心 Qwen 实现。
  • 只刷新网页,没有重启旧 Python 进程。旧进程继续使用启动时导入的代码。
  • 机器上有多份 ComfyUI,却修改了未被 WebUI 使用的那份目录。
  • 把 model.safetensors 改名就当作模型转换。重命名不会合并 LoRA,也不会转换 dtype、量化或权重键名。
  • 看到 bitsandbytes 或 graph breaks 字样就认定 Qwen 加载失败。应看 Requested to load Qwen35TEModel_、token 进度和 TextGenerate 实际输出;本案例的 bitsandbytes CUDA 二进制警告与这次 Qwen 解码修复无关。

部署后若仍重复,按顺序检查:当前进程工作目录、运行时导入的 qwen35.py 路径、文件 SHA256、token 生成进度,以及新 Queue 任务中的 TextGenerate 输出。若文字正常而图片不对,再单独检查 CLIPTextEncode、conditioning、sampler 和图像缓存。

总结

这次问题的关键是区分"模型文件能否加载"和"当前推理栈能否正确执行增量解码"。LLaMA-Factory 导出的模型能在 vLLM 中正常工作,并不意味着 ComfyUI 一定会走相同的计算路径。先用最小文本工作流验证,再按当前 ComfyUI 版本部署补丁、重启正确的后端进程,最后恢复完整图像工作流,可以更快定位问题。

相关推荐
syso_稻草人1 天前
qwen-image-2.1 PE 增强编辑:QwenImage21_EditPromptRewrite 一句话中文扩写成完整编辑指令
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
VIP_CQCRE3 天前
WorkBuddy 接入 Maestro 后,如何把一句需求变成可验收的视频任务
工作流·ai视频·maestro·mcp·workbuddy
VIP_CQCRE8 天前
视频任务显示‘已提交’之后:别让异步生成变成黑盒
异步任务·工作流·ai视频·mcp
一条大祥脚8 天前
llama.cpp 深度解析:从 GGUF 到本地推理的事实标准
llama
終不似少年遊*11 天前
【安全业务Agent】从场景到编排
python·react.js·ai·langchain·agent·安全架构·工作流
奈落2412 天前
Codex 并进 ChatGPT 之后,“编程智能体“是变浅了还是变顺了:从官方概览页的功能分工到五家公司开发者反馈,读一次产品化合并的得与失
人工智能·chatgpt·工作流·ai 编程
VIP_CQCRE12 天前
内容自动化越跑越乱?先补上状态、去重和失败恢复
python·ai·工作流·幂等设计·内容自动化
Sayai13 天前
让动漫角色复刻真人动作!MiniMax H3 动作控制实战:一段视频驱动角色动画(12G 显存,附模型下载)
人工智能·aigc·音视频·comfyui·动作捕捉·minimax
全栈探索者14 天前
给视频配一段完整 BGM:一次生成还是分段拼?
人工智能·comfyui·音频生成·stable audio