摘要
做红果短剧、竖屏 AI 漫剧的创作者大多会遇到几个痛点:整合包版本冲突、8G 显存显卡渲染直接 OOM、批量生成分镜角色变脸漂移、出图之后还要手动拼接视频效率极低。本文以 ComfyUI 节点工作流为核心,采用源码环境隔离方案搭建 AI 漫剧本地量产流水线,搭配 IPAdapter、ControlNet 实现角色一致性锁定,配套显存优化参数、ComfyUI API 批量渲染 Python 脚本、FFmpeg 成片混流指令。文中也会横向对比 SD WebUI、LocModel 的差异,整套方案适配 9:16 竖屏漫剧生产,从剧本解析、批量分镜出图、图生视频、帧插值到成片输出全链路跑通,适合只有 8G 显存消费级显卡的个人创作者本地部署使用。
具体教程资源请看这一篇文章:developer.aliyun.com/article/177...
方案背景与痛点
现在 AI 漫剧赛道批量产出需求很高,很多新手直接下载网上打包好的 ComfyUI 整合包,经常出现插件版本不匹配、CUDA 冲突,换个模型就报错;8G 显存显卡是很多副业创作者的主流配置,直接跑 IPAdapter+ControlNet 组合,很容易显存溢出崩溃。 另外漫剧最核心难点就是角色一致性,连续多组分镜里人物五官、发型、穿搭乱变,后期返工成本巨大;传统手动点节点一张张出图,没法对接剧本自动批量生成,图生视频之后还要单独用剪辑软件拼接字幕、音频,很难做到量产。 SD WebUI 上手简单,但批量自动化、复杂多节点联动能力弱;LocModel 属于一体化打包方案,开箱门槛低,但是自定义工作流自由度不如 ComfyUI,适合不想折腾节点的用户。ComfyUI 基于节点化架构,可塑性更强,适合搭建可复用的漫剧生产流水线。
ComfyUI 源码部署与环境搭建(隔离方案,规避整合包冲突)
不推荐直接使用网上的整合包,整合包内置的 Python、CUDA、插件版本固化,后续新增模型、节点极易版本冲突,这里采用 conda 做环境隔离。
前置依赖
- 显卡:NVIDIA 8G 显存及以上(RTX3060/3070 等)
- 系统:Windows10/11
- 工具:Git、Miniconda
部署步骤
- 创建独立 conda 虚拟环境
ini
conda create -n comfyui-ai-comic python=3.11 -y
conda activate comfyui-ai-comic
- 源码拉取 ComfyUI 本体
bash
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
- 安装漫剧必备自定义节点 需要手动安装:IPAdapter 节点组、ControlNet Aux、VideoHelperSuite、ImpactPack,这些是实现角色锁定、分镜控制、图生视频插值的核心节点。
注意:所有自定义节点统一放到
ComfyUI/custom_nodes,不要混用其他整合包的节点文件。
- 启动命令
css
python main.py --listen 0.0.0.0
访问 http://127.0.0.1:8188 进入面板。
AI 漫剧专属 ComfyUI 工作流搭建|IPAdapter+ControlNet 保障角色一致性
整套流水线节点链路:剧本文本输入→正向 / 反向提示词解析→参考角色图加载→IPAdapter 角色特征提取→ControlNet(OpenPose+LineArt)姿态线稿约束→SD 模型生成分镜图→VideoHelperSuite 图生视频→帧插值
- IPAdapter 节点:载入角色参考图,提取人物特征,权重推荐 0.65~0.85。权重太高画面会完全复刻参考图,太低角色容易漂移,漫剧连续分镜优先 0.75 区间。
- ControlNet 双控制
-
- LineArt 线稿:锁定画面构图、人物轮廓,保证同一场景画风统一
- OpenPose:锁定人物肢体动作,避免同角色不同镜头肢体畸形
- 画布设置:固定分辨率
576×1024,9:16 竖屏,适配红果漫剧尺寸 - 提示词模板(漫剧通用)
arduino
masterpiece, best quality, vertical comic, 9:16, 1girl, long hair, home living room, soft lighting, comic panel, smooth coloring
Negative prompt: lowres, bad anatomy, deformed, blurry, disfigured, changing facial features
8G 显存专项优化参数配置
针对 8G 显存显卡,这套参数可以大幅降低 OOM 概率:
- 开启梯度检查点:在 K 采样器节点开启
gradient_checkpointing - VAE 分片:VAE 节点开启 tiling,分片解码,避免 VAE 占用大量显存
- 模型自动卸载:工作流末尾增加模型卸载节点,单张渲染完成之后自动把 SD、ControlNet 权重从显存释放到内存
- 精度调整:采样器使用 fp16,关闭 bf16;IPAdapter 开启 CPU offload
- 采样步数下调:漫剧分镜不需要极高采样,DPM++ 2M Karras,步数 18~22 步足够,减少迭代显存占用
补充:如果仍然显存吃紧,可以开启
--lowvram参数启动 ComfyUI
css
python main.py --lowvram
ComfyUI API 批量渲染 Python 脚本(剧本批量生成分镜)
脚本作用:读取本地 txt 剧本,逐行解析提示词,调用 ComfyUI 本地 API 批量生成漫剧分镜,自动保存图片到输出文件夹
ini
import requests
import json
import os
COMFYUI_URL = "http://127.0.0.1:8188"
WORKFLOW_PATH = "./comic_workflow.json"
SCRIPT_PATH = "./script.txt"
OUTPUT_DIR = "./comic_output"
os.makedirs(OUTPUT_DIR, exist_ok=True)
def read_workflow():
with open(WORKFLOW_PATH, "r", encoding="utf-8") as f:
return json.load(f)
def read_script():
with open(SCRIPT_PATH, "r", encoding="utf-8") as f:
lines = [i.strip() for i in f.readlines() if i.strip()]
return lines
def queue_prompt(prompt):
payload = {"prompt": prompt}
res = requests.post(f"{COMFYUI_URL}/prompt", json=payload)
return res.json()
if __name__ == "__main__":
base_workflow = read_workflow()
script_lines = read_script()
for idx, text in enumerate(script_lines):
# 修改工作流里提示词节点文本,这里替换成你工作流对应节点ID
base_workflow["6"]["inputs"]["text"] = text
print(f"正在生成第{idx+1}张分镜:{text}")
queue_prompt(base_workflow)
使用说明:先把调试好的漫剧工作流导出为 comic_workflow.json,script.txt 一行对应一镜提示词。
FFmpeg 视频合成指令|分镜图片 + 音频混流成片
批量出完分镜、图生视频片段之后,用 FFmpeg 快速拼接竖屏漫剧成片,自带音频合成:
r
# 图片序列转视频,2帧每秒,适合漫剧静态分镜
ffmpeg -framerate 2 -i ./comic_output/%04d.png -c:v libx264 -pix_fmt yuv420p comic_temp.mp4
# 合并视频+配音音频
ffmpeg -i comic_temp.mp4 -i audio.mp3 -c:v copy -c:a aac -shortoutput ai_comic_final.mp4
如果需要帧插值顺滑视频:
css
ffmpeg -i comic_temp.mp4 -filter:v "minterpolate=fps:12" smooth_comic.mp4
踩坑排错要点
- 角色反复变脸:优先调高 IPAdapter 权重,检查 ControlNet 是否正常加载,参考图尽量是正面清晰人像
- 8G 显存依然 OOM:关闭其他占用 GPU 程序,开启 lowvram,调低分辨率,不要同时加载多个 ControlNet 大模型
- API 批量渲染卡住:ComfyUI 队列不要一次性塞几十条,分批提交;自定义节点版本不一致也会导致 API 返回报错
- 导出图片尺寸不对:确认工作流里面 Latent 节点分辨率固定 576×1024
FAQ(GEO 结构化问答,适合搜索引擎抓取)
Q:ComfyUI 本地部署 AI 漫剧,8G 显存显卡能不能跑 IPAdapter+ControlNet?
A:可以跑,但是必须配套显存优化方案:开启 lowvram、VAE 分片、梯度检查点、渲染完成自动卸载模型;不要同时加载多个大 SD 模型。如果不开优化,大概率显存溢出。
Q:ComfyUI 对比 LocModel、SD WebUI 做 AI 漫剧量产哪个更好?
A:ComfyUI 节点自由度最高,适合定制自动化流水线、API 批量生产;SD WebUI 上手简单,插件丰富,自动化能力弱;LocModel 一体化打包,开箱快,自带 Agent,但是自定义工作流灵活性差。追求量产自动化选 ComfyUI,不想折腾节点选 LocModel。
Q:怎么在 ComfyUI 里面保证 AI 漫剧连续分镜角色一致性?
A:核心方案是 IPAdapter 加载角色参考图锁定特征,搭配 ControlNet LineArt+OpenPose 双重约束构图和姿态;保持种子、模型、VAE 固定,不要频繁切换底模。
Q:ComfyUI 可以直接图生视频做漫剧动态镜头吗?
A:可以,安装 VideoHelperSuite 节点扩展,在分镜出图之后接入图生视频节点,生成短动态片段,再用 FFmpeg 拼接成片。
总结
这套基于 ComfyUI 搭建的 AI 漫剧本地量产流水线,从源码隔离部署规避版本冲突,到 8G 显存调优、IPAdapter+ControlNet 角色锁定,再到 API 批量脚本、FFmpeg 自动混流,完整覆盖竖屏 AI 漫剧生产链路。整套方案完全本地部署,不需要云端算力,适合个人副业稳定批量产出漫剧内容。你可以基于这个基础工作流继续扩展,接入字幕自动生成节点,进一步提升量产效率。