
动画圈的"动作捕捉"过去是专业棚里的贵价设备。现在 MiniMax H3 的 Fun ControlNet 把它变成了三件套:一段真人动作视频 + 一张角色图 + 一个控制模型------真人怎么动,角色就怎么动 。本篇实测:汉服美人转身微笑的视频,驱动一位粉发动漫魔法少女做出同样的动作,动漫风格和角色形象分毫不变,动作逐帧复刻。
一、效果先看
四联图从左到右:角色参考图(粉发动漫少女)→ 动作源视频帧(汉服真人转身)→ 生成首帧 → 生成 2.2 秒帧。两个承诺都兑现了:
- 风格锁死:生成的两帧保持 cel-shading 动漫渲染、粉发双马尾、魔法少女服饰,与参考图完全一致;
- 动作复刻:躯干朝向、转身幅度、手臂位置跟随动作源视频逐帧对应,无肢体错位。
出片 1024×576、24fps、107 帧(4.5 秒)、自带音轨。整条链在 4070 Ti 12G 上约 6 分钟(含姿势提取)。
二、模型准备(7 件,全部双链)
| 模型文件 | 大小 | 放置目录 | 官方下载 | 网盘备份 |
|---|---|---|---|---|
| minimax_h3_ref2va_pruned_int8_convrot.safetensors | 21.0 GB | diffusion_models | 官方下载页 | 网盘下载 |
| minimax_h3_fun_controlnet_union_2.0_pruned_int8_convrot.safetensors | 4.53 GB | model_patches | 官方下载页 | 网盘下载 |
| qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors | 15.7 GB | text_encoders | 官方下载页 | 网盘下载 |
| minimax_h3_video_vae_int8_convrot.safetensors | 2.81 GB | vae | 官方下载页 | 网盘下载 |
| minimax_h3_audio_vae_fp32.safetensors | 0.61 GB | vae | 官方下载页 | 网盘下载 |
| minimax_h3_ref2v_turbo_4step_v0.1_comfyui_bf16.safetensors | 1.96 GB | loras | 官方下载页 | 网盘下载 |
| sdpose_wholebody_fp16.safetensors | 1.92 GB | checkpoints | 官方下载页 | 网盘下载 |
| rt_detr_v4-x-hgnet_fp16.safetensors | 0.30 GB | diffusion_models | 官方下载页 | 网盘下载 |
看过 H3 前几篇的话,新面孔只有三件:Fun ControlNet 补丁 (动作注入的核心,放 model_patches 目录)、SDPose (全身关键点提取)和 RT-DETR(先框出人再提骨架)。官方 HuggingFace 国内可换 hf-mirror.com 直连;网盘是同文件备份,点开自动带提取码。
环境:ComfyUI v0.39 内核原生支持(SDPose/RT-DETR/FunControlNetApply 全是内置节点),零自定义节点。
三、工作流拆解:两段式流水线
这条流是 H3 全家最复杂的(原模板 46 节点),但逻辑就两段:
第一段·姿势提取:LoadVideo(动作源视频)→ RTDETR_detect(检测画面里的人)→ SDPoseKeypointExtractor(提全身关键点)→ SDPoseDrawKeypoints(画成骨架视频)。
第二段·受控生成 :角色参考图 + 提示词 → MiniMaxH3ReferenceToVideo;ref2va 主模型挂 MiniMaxH3FunControlNetApply(把骨架视频作为 control_video 注入,strength 1.0)→ +4 步 turbo LoRA → 采样出片。
关键参数:control_video 接骨架 IMAGE;end_percent 0.9(动作控制作用区间);4 步 turbo;分辨率对齐动作源视频画幅。
动作源视频哪来 :任何有人物动作的短视频都行------自己拍一段、动漫截一段、或者用 H3 自己生成(本篇的动作源就是上一篇 i2v 生成的汉服转身视频,自产自销闭环)。
四、实测踩坑
1. 检测器放对目录。 rt_detr 走 UNETLoader(diffusion_models 目录)、sdpose 走 CheckpointLoader(checkpoints 目录),两个都放 checkpoints 或都放 unet 会找不到。
2. SDPose 的 vae 输入来自 CheckpointLoader 的第三输出,不是单独的 VAELoader------接错了报缺输入。
3. 动作源视频人物越清晰复刻越稳。 多人同框会被 RT-DETR 全框出来互相干扰(max_detections 限 1);截取单人、全身入镜的片段效果最好。
4. model_patches 是独立类目。 Fun ControlNet 补丁既不在 checkpoints 也不在 diffusion_models,放 models/model_patches/,老版本 ComfyUI 目录里没有就自己建。
五、下载汇总
(城通网盘,点击自动带提取码)
模型见第二节双链表格(8 件)。模型许可按 MiniMax/SDPose 官方仓库条款;用真人视频驱动请获得当事人同意。
把爱豆的打歌视频换成动漫角色、把武侠片的招式搬到自己的原创角色身上------动作控制的玩法你自己开发。评论区说说你最想让"谁"复刻"谁"的动作,明天放出 H3 五连玩法总览(武侠/机甲/末世全套)收个尾。