qwen-image-2.1 姿态控制拆解:SDPose 提骨架 + Fun-ControlNet-Union 锁姿势,换人换景不换姿势

适用版本:qwen-image-2.1 int8 + Fun-ControlNet-Union 7.03GB + SDPose 1.92GB + ComfyUI 0.41.0|更新时间:2026-11

结论先行:qwen-image-2.1 的 10 号姿态控制工作流,核心是「SDPose 提骨架 + ControlNet 锁姿态 + 提示词换人换景」。先用 SDPose 从参考人像提取骨架图(火柴人),再把骨架图传给 Fun-ControlNet-Union 的 Pose 模式,提示词描述新主体和场景。生成的图保持参考姿态,但人物和场景全换。3 组实测覆盖叉腰/托腮/举手动态。

合规声明:姿态控制技术仅用于合法用途(人像创意、角色设计、动作参考),禁止冒充真实人物、禁止侵犯肖像权。本文演示全部使用 AI 生成的虚构人像。

一、问题现象

文生图最让人头疼的一点:提示词写"双手叉腰站立",模型给你画个双手插兜的。姿势控制是 AI 绘画的刚需------电商模特要统一姿势、角色设计要多角度同姿态、动作参考要精确复现。

qwen-image-2.1 的 10 号工作流解决这个问题,分两步:第一步用 SDPose 模型从参考人像提取骨架图(火柴人),第二步把骨架图传给 Fun-ControlNet-Union 的 Pose 模式,按提示词生成保持该姿态的新图。

二、工作流节点拆解

整个流程分两个阶段,共 17 个节点。

阶段一:SDPose 提取骨架图

节点 class_type 作用
1 CheckpointLoaderSimple 加载 SDPose 模型(1.92GB,自带 VAE)
5 LoadImage 参考人像
13 SDPoseKeypointExtractor 提取人体关键点
14 SDPoseDrawKeypoints 画骨架图(火柴人)

SDPose 模型放在 models/checkpoints/ 目录,用 CheckpointLoaderSimple 加载,输出 MODEL + CLIP + VAE。SDPoseKeypointExtractor 接收 MODEL、VAE 和参考图,提取人体关键点。SDPoseDrawKeypoints 把关键点画成骨架图。

阶段二:ControlNet 姿态控制生成

节点 class_type 作用
1 UNETLoader 加载 qwen-image-2.1 DiT(int8)
2 CLIPLoader qwen3vl_8b 编码器
3 VAELoader qwen VAE
4 QwenImage21UnionLoader 加载 Fun-ControlNet-Union(7.03GB)
5 LoadImage 骨架图(阶段一输出)
6 TextEncodeQwenImage21 正向+负向提示词
7 QwenImage21UnionApply Pose 模式,strength 1.0,绑定骨架图
8 EmptySD3LatentImage 空 latent(从噪声起笔)
9 KSampler 40 步,denoise 1.0
10-12 VAEDecode + VAEDeGrid + SaveImage 解码保存

2.1 为什么必须先提骨架

这是整个工作流最关键的设计。Fun-ControlNet-Union 的 QwenImage21UnionApply 节点会把 control_image 直接 VAE 编码成 structural latent 注入生成过程。如果传原始人像,整张图的视觉特征(脸、衣服、背景)都会渗透到成品里,导致成品和参考图太像。

先用 SDPose 提取骨架图(火柴人),再传给 ControlNet,就只有姿态信息进入控制信号。成品的人物、服装、场景全由提示词决定,只保留参考图的姿势。

2.2 API 格式 JSON(阶段二)

json 复制代码
{
  "1": {"class_type": "UNETLoader", "inputs": {"unet_name": "qwen_image_2.1_int8_convrot.safetensors", "weight_dtype": "default"}},
  "2": {"class_type": "CLIPLoader", "inputs": {"clip_name": "qwen3vl_8b_int8_convrot.safetensors", "type": "qwen_image", "device": "default"}},
  "3": {"class_type": "VAELoader", "inputs": {"vae_name": "qwen_image_2.1_vae_bf16.safetensors"}},
  "4": {"class_type": "QwenImage21UnionLoader", "inputs": {"union_model": "Qwen-Image-2.1-Fun-Controlnet-Union-ComfyUI.safetensors"}},
  "5": {"class_type": "LoadImage", "inputs": {"image": "skeleton.png"}},
  "6": {"class_type": "TextEncodeQwenImage21", "inputs": {"clip": ["2", 0], "prompt": "新主体描述", "negative_prompt": "low quality, blurry, deformed", "resolution": 1024}},
  "7": {"class_type": "QwenImage21UnionApply", "inputs": {"model": ["1", 0], "union_patch": ["4", 0], "vae": ["3", 0], "control_mode": "Pose", "strength": 1.0, "start_percent": 0.0, "end_percent": 1.0, "control_image": ["5", 0]}},
  "8": {"class_type": "EmptySD3LatentImage", "inputs": {"width": 1024, "height": 1024, "batch_size": 1}},
  "9": {"class_type": "KSampler", "inputs": {"model": ["7", 0], "positive": ["6", 0], "negative": ["6", 1], "latent_image": ["8", 0], "seed": 43, "steps": 40, "cfg": 4.0, "sampler_name": "euler", "scheduler": "normal", "denoise": 1.0}}
}

注意三个关键点:

  1. 节点 5 加载的是骨架图(skeleton.png),不是原始人像。
  2. 节点 8 是 EmptySD3LatentImage,从空 latent 起笔,不保留参考图任何视觉特征。
  3. 节点 9 的 steps 40,ControlNet 约束需要更多步数收敛。

三、参数口径

参数 值 说明
SDPose 模型 sdpose_wholebody_fp16.safetensors 1.92GB,提骨架
ControlNet Fun-ControlNet-Union 7.03GB,Pose 模式
strength 1.0 姿态控制强度满载
cfg 4.0 文生图标准值
denoise 1.0 全幅生成
steps 40 ControlNet 需更多步数
resolution 1024 ControlNet 输入分辨率

四、3 组姿态控制实测

每组三联图从左到右:参考姿态图 、姿态骨架图 、姿态控制成品。注意成品和参考图的人物、服装、场景完全不同,但姿势一致。

01 叉腰站立

左边参考姿态图是穿驼色风衣的女性叉腰站立,中间是 SDPose 提取的骨架图(火柴人),右边成品换成了穿黑色高领毛衣的男性,站在城市天台看日落。姿势一致:双手叉腰、正面站立,人物和场景全换了。

02 托腮坐姿

左边参考姿态图是穿深蓝衬衫的男性坐在木椅上右手托腮,中间骨架图,右边成品换成了穿白色衬衫的女性,坐在咖啡店里。姿势一致:右手托腮、坐姿、头微偏。

03 举手动态

左边参考姿态图是穿粉色运动服的女性举手挥手动态,中间骨架图,右边成品换成了穿深灰卫衣的男性,在健身房里。姿势一致:右手高举、动态感。

五、踩坑记录

# 现象 原因(已验证) 处理
1 成品和参考图几乎一样 control_image 传了原始人像,ControlNet 把整张图 VAE 编码注入 先用 SDPose 提骨架,传骨架图给 control_image
2 提示词没起作用 用 QwenImage21UnionLatentFromImage 从参考图起笔 改用 EmptySD3LatentImage 从噪声起笔
3 成品模糊 steps 不足 30 steps 用 40
4 SDPose 报错 heatmap_head 用 UNETLoader 加载 SDPose 模型 用 CheckpointLoaderSimple 加载(自带 VAE)
5 SDPose 报错 channel 不匹配 用 qwen VAE 给 SDPose SDPose 自带 VAE,从 CheckpointLoader 取
6 姿态骨架提取失败 参考图人物太小/被遮挡 参考图用全身清晰人像

坑 1 是最大的坑。ControlNet 的 control_image 不是"提取骨架"的输入,是"VAE 编码注入"的输入。传人像就注入人像的视觉特征,传骨架就只注入姿态。这个坑不读源码很难发现。

六、小结与复现清单

以上结论在 qwen-image-2.1 int8 + Fun-ControlNet-Union 7.03GB + SDPose 1.92GB + ComfyUI 0.41.0 + RTX 5060 Ti 环境下成立。

  • 阶段一:SDPose 从参考人像提取骨架图(火柴人)
  • 阶段二:骨架图 → ControlNet Pose 模式 + 提示词 → 保持姿态的新人物新场景
  • 参数:strength 1.0 / cfg 4.0 / denoise 1.0 / 40 步 / resolution 1024
  • 显存:16G

合规提醒:姿态控制技术仅限合法用途,禁止冒充真实人物、侵犯肖像权。

如果这篇帮你跑通姿态控制,欢迎点赞/收藏。

相关推荐
Baihai_IDP11 分钟前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
数字融合12 分钟前
透明化视频动态三维重建空间数据零核心技术
人工智能·python·virtualenv
谙弆悕博士24 分钟前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
AI创界者1 小时前
Python 进阶实战(五十四章):大模型推理网关终极架构——分布式全局前缀 Trie 缓存同步与多网关高可用协同调度
人工智能·python·aigc
后端小肥肠1 小时前
公众号里流量很夯的漫画赛道:趣味漫画创作全拆解
人工智能·aigc·agent
程序油菜花1 小时前
微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
人工智能
锋行天下2 小时前
LangGraph 对接 MCP 实战指南:从本地开发到线上部署与模型防坑
前端·人工智能·后端
汤姆宝库2 小时前
解码采样策略的实现:temperature、top-p、min-p与重复惩罚
人工智能
鶴哥只手遮天2 小时前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能