最近把 LLaMA-Factory 微调导出的 Qwen3.5-4B 接入 ComfyUI,用它先把中文展台描述扩写成英文提示词,再交给 FLUX.3 Klein 生图。模型在 vLLM 中推理正常,但 ComfyUI 一开始出现重复字符、输出中断甚至文字节点没有内容。
排查后发现,问题不在 LoRA 训练本身,而是 ComfyUI 当前环境中的 Qwen3.5 DeltaNet 增量解码路径与这台机器的 CUDA/融合内核组合不匹配。本文记录模型准备、工作流搭建、补丁部署和验证过程,供需要在新机器迁移的人参考。
本文记录的是一套经过验证的 ComfyUI 0.42.0 环境。补丁针对该版本及当时的 PyTorch/CUDA/comfy_kitchen 组合;其他版本应先检查源文件差异并做短文本测试,不建议盲目覆盖。
一、整体流程
这套工作流分两步完成:Qwen3.5 根据中文输入生成英文展台提示词,FLUX.3 Klein 再根据提示词生成图片。
#mermaid-svg-Z0v2sGNHxxIYtJSC{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Z0v2sGNHxxIYtJSC .error-icon{fill:#552222;}#mermaid-svg-Z0v2sGNHxxIYtJSC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Z0v2sGNHxxIYtJSC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .marker.cross{stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Z0v2sGNHxxIYtJSC p{margin:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label text{fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label span{color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster-label span p{background-color:transparent;}#mermaid-svg-Z0v2sGNHxxIYtJSC .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC span{fill:#333;color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node rect,#mermaid-svg-Z0v2sGNHxxIYtJSC .node circle,#mermaid-svg-Z0v2sGNHxxIYtJSC .node ellipse,#mermaid-svg-Z0v2sGNHxxIYtJSC .node polygon,#mermaid-svg-Z0v2sGNHxxIYtJSC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .rough-node .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label text,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label{text-anchor:middle;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .rough-node .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label,#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label{text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node.clickable{cursor:pointer;}#mermaid-svg-Z0v2sGNHxxIYtJSC .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .arrowheadPath{fill:#333333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster text{fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC .cluster span{color:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Z0v2sGNHxxIYtJSC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Z0v2sGNHxxIYtJSC rect.text{fill:none;stroke-width:0;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape p,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Z0v2sGNHxxIYtJSC .icon-shape .label rect,#mermaid-svg-Z0v2sGNHxxIYtJSC .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Z0v2sGNHxxIYtJSC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Z0v2sGNHxxIYtJSC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Z0v2sGNHxxIYtJSC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 中文展台描述
Qwen3.5 TextGenerate
System Prompt
英文提示词
CLIPTextEncode
工作流使用的 Qwen3-VL 文本编码器
FLUX.3 Klein KSampler
FLUX VAE
图片输出
这里有两个用途不同的文本编码器:
- Qwen3.5
CLIPLoader连接TextGenerate,负责语言生成和提示词扩写。 - 工作流原有的 Qwen3-VL 编码器连接
CLIPTextEncode,把扩写后的文本编码成 FLUX.3 Klein 所需的 conditioning。
不要把两个加载器当成重复模型删除。若沿用原工作流,还要保留提供 CR Prompt Text 的 ComfyUI_Comfyroll_CustomNodes 和提供 easy showAnything 的 comfyui-easy-use。
二、准备微调模型
本例使用 LLaMA-Factory 导出的 Qwen3.5-4B 微调模型。模型在 vLLM 中已能正常推理。当前案例把导出的 model.safetensors 直接复制并改名为:
text
qwen3.5-4B-zhantai-merged.safetensors
文件名后缀不会转换权重格式。只有当导出目录里的文件确实是与基座架构匹配的完整模型权重(例如已合并的模型)时,复制改名才可能直接使用;如果它只是 LoRA adapter 权重,不能靠改名变成完整模型。ComfyUI 能否加载还取决于权重键名、模型结构、量化格式和对应版本的加载器。
把模型放到 ComfyUI 的文本编码器目录,例如:
text
/root/ComfyUI/models/text_encoders/qwen3.5-4B-zhantai-merged.safetensors
ComfyUI 0.42.0 的 Qwen3.5 tokenizer 位于源码目录:
text
/root/ComfyUI/comfy/text_encoders/qwen35_tokenizer/
检查该目录存在,并确认导出模型的词表、token ID 与 ComfyUI 使用的 tokenizer 兼容。如果微调期间新增了特殊 token,或更换了词表,就不能默认使用内置 tokenizer,需要额外适配。
工作流本身还依赖 FLUX.3 Klein UNet、VAE,以及原图中的 Qwen3-VL 文本编码器。模型文件应分别放在对应的 models/unet/、models/vae/ 和 models/text_encoders/ 子目录,最终在加载节点里选择实际文件名。
三、先确认 ComfyUI 能识别模型
在 ComfyUI 中添加 CLIPLoader,选择:
text
clip_name = qwen3.5-4B-zhantai-merged.safetensors
type = flux3
device = default
把它连接到 TextGenerate 的 clip 输入。最小测试时只保留 CLIPLoader → TextGenerate → SaveText,先不要混入 FLUX 生图节点。
建议先用短请求验证加载和解码:
text
Please expand this into a vivid image generation prompt: a red umbrella left on a wet stone bench in a quiet garden at dawn. Respond in English in one paragraph.
测试阶段将 max_length 设为 128 或 256、thinking=false、use_default_template=true、mtp=off,并把采样关闭。确认输出是一段连贯文字后,再切回实际工作流需要的采样设置。
如果通过 /prompt API 而不是网页 Queue,ComfyUI 0.42.0 的 TextGenerate 动态采样输入在关闭采样时使用字符串:
json
"sampling_mode": "off"
开启采样时,除了 "sampling_mode": "on",还要传入 sampling_mode.temperature、sampling_mode.top_k、sampling_mode.top_p、sampling_mode.min_p、sampling_mode.repetition_penalty 和 sampling_mode.seed 等字段。
四、排查重复文字的根因
模型在 vLLM 中正常,并不能证明 ComfyUI 的解码实现也正常。两个推理框架可能使用不同的 KV cache、算子融合和增量解码内核。
这次 ComfyUI 的日志显示 Qwen3.5 已经加载,但生成进度停在 3/3584 附近,随后进入下游节点。对比同一模型的输出后,确认异常集中在单 token 增量解码时使用的 deferred 融合 DeltaNet 路径;切换到 eager recurrent 更新后,文字恢复正常。
修复思路是在 GatedDeltaNet 中加入 _forward_eager_decode(),对单 token 解码直接更新卷积状态和 recurrent state;在 forward() 遇到单 token decode 时调用该方法,绕开当前环境下数值异常的 deferred 融合内核。补丁只改动 Qwen3.5 的单 token 解码分支,prefill 和其他路径仍沿用原实现。
Comfy model compiler graph breaks: 1, rogues: 0 本身不是错误。更有用的信号是:Qwen 模型是否加载、token 进度是否正常走完、TextGenerate 是否输出连贯文本。
五、把补丁部署到新机器
先确认目标机器运行的 ComfyUI 根目录。下面以 /root/ComfyUI 为例;实际路径不同就替换 COMFY。
先从本地 Windows 机器上传修复文件。备份并替换 ComfyUI 的核心文件。目标路径是 comfy/text_encoders/qwen35.py,不是 models/custom_nodes。
bash
COMFY=/root/ComfyUI
cd "$COMFY"
cp comfy/text_encoders/qwen35.py \
comfy/text_encoders/qwen35.py.bak-before-eager
cp /tmp/qwen35_remote.py \
comfy/text_encoders/qwen35.py
rm -rf comfy/text_encoders/__pycache__
python3 -m py_compile comfy/text_encoders/qwen35.py
sha256sum comfy/text_encoders/qwen35.py
本案例补丁文件的 SHA256:
text
7908d5a20eef0b1b97541aaf9e90d6cd0936b37bc7e6b5abdb16cd3e306c5463
若哈希不同,先不要继续,确认上传的文件是否正确。还可以检查补丁分支是否存在:
bash
grep -n '_forward_eager_decode' "$COMFY/comfy/text_encoders/qwen35.py"
随后通过机器原有的服务管理器或云平台控制台重启 ComfyUI。确认实际运行目录和补丁内容:
bash
PID=$(pgrep -f 'python3 main.py' | head -n 1)
readlink -f "/proc/$PID/cwd"
cd /root/ComfyUI
python3 - <<'PY'
import inspect
import comfy.text_encoders.qwen35 as qwen35
print("module:", qwen35.__file__)
source = inspect.getsource(qwen35.GatedDeltaNet)
print("eager method:", "def _forward_eager_decode" in source)
print("decode branch:", "return self._forward_eager_decode" in source)
PY
两项检查都应为 True,模块路径应指向当前运行的 ComfyUI 目录。刷新浏览器不能替代重启 Python 后端。
六、恢复完整展台工作流
短文本测试通过后,再打开原工作流并检查这些连线:
- Qwen3.5
CLIPLoader→TextGenerate.clip。 - 中文需求输入 →
TextGenerate.prompt。 - 展台生成规则 →
TextGenerate.system_prompt。 TextGenerate输出 → 工作流原有 Qwen3-VLCLIPTextEncode.text。CLIPTextEncodeconditioning → FLUX.3 Klein sampler 的 positive 输入。- FLUX.3 Klein UNet、VAE、latent 和
SaveImage保留原有连接。
本例的 system prompt 要求模型以 zhantai 开头,用英文自然语言描述整体结构、布局、展示元素和细节,并且不能编造输入中没有的品牌或面积。可按自己的数据格式修改规则,但应明确语言、输出格式和禁止臆造的条件。
原工作流的 TextGenerate 参数大致为:max_length=3584、sampling_mode=on、temperature=0.9、top_k=1、top_p=0.7、min_p=0、repetition_penalty=1.0、presence_penalty=1.5、thinking=false、use_default_template=true、mtp=off。先以 128/256 token 完成短测,再按需要提高长度。长输出会明显增加推理时间;不要把很大的 max_length 当成必须生成的长度。
七、验证结果与常见误区
补丁部署后,在 48 GB vGPU 的 ComfyUI 0.42.0 环境中,CLIPLoader → TextGenerate → SaveText 的 128-token 测试生成完成,文本连贯;日志显示 Generating tokens: 100%,推理耗时约 23--57 秒,具体速度取决于机器和运行状态。另一轮使用展台中文需求和 sampling_mode=on 的测试也生成了以 zhantai 开头的英文段落。这里验证的是文字生成节点和模型解码;完整的 FLUX.3 Klein 图片链路需要在新机器上重新 Queue 一次,确认 CLIPTextEncode、采样器和 SaveImage 的输出。
排查时最常见的几个错误是:
- 把补丁放在
models/custom_nodes。ComfyUI 不会因此替换核心 Qwen 实现。 - 只刷新网页,没有重启旧 Python 进程。旧进程继续使用启动时导入的代码。
- 机器上有多份 ComfyUI,却修改了未被 WebUI 使用的那份目录。
- 把
model.safetensors改名就当作模型转换。重命名不会合并 LoRA,也不会转换 dtype、量化或权重键名。 - 看到
bitsandbytes或graph breaks字样就认定 Qwen 加载失败。应看Requested to load Qwen35TEModel_、token 进度和TextGenerate实际输出;本案例的 bitsandbytes CUDA 二进制警告与这次 Qwen 解码修复无关。
部署后若仍重复,按顺序检查:当前进程工作目录、运行时导入的 qwen35.py 路径、文件 SHA256、token 生成进度,以及新 Queue 任务中的 TextGenerate 输出。若文字正常而图片不对,再单独检查 CLIPTextEncode、conditioning、sampler 和图像缓存。
总结
这次问题的关键是区分"模型文件能否加载"和"当前推理栈能否正确执行增量解码"。LLaMA-Factory 导出的模型能在 vLLM 中正常工作,并不意味着 ComfyUI 一定会走相同的计算路径。先用最小文本工作流验证,再按当前 ComfyUI 版本部署补丁、重启正确的后端进程,最后恢复完整图像工作流,可以更快定位问题。