让动漫角色复刻真人动作!MiniMax H3 动作控制实战:一段视频驱动角色动画(12G 显存,附模型下载)

动画圈的"动作捕捉"过去是专业棚里的贵价设备。现在 MiniMax H3 的 Fun ControlNet 把它变成了三件套:一段真人动作视频 + 一张角色图 + 一个控制模型------真人怎么动,角色就怎么动 。本篇实测:汉服美人转身微笑的视频,驱动一位粉发动漫魔法少女做出同样的动作,动漫风格和角色形象分毫不变,动作逐帧复刻。

一、效果先看

四联图从左到右:角色参考图(粉发动漫少女)→ 动作源视频帧(汉服真人转身)→ 生成首帧 → 生成 2.2 秒帧。两个承诺都兑现了:

  • 风格锁死:生成的两帧保持 cel-shading 动漫渲染、粉发双马尾、魔法少女服饰,与参考图完全一致;
  • 动作复刻:躯干朝向、转身幅度、手臂位置跟随动作源视频逐帧对应,无肢体错位。

出片 1024×576、24fps、107 帧(4.5 秒)、自带音轨。整条链在 4070 Ti 12G 上约 6 分钟(含姿势提取)。

二、模型准备(7 件,全部双链)

模型文件 大小 放置目录 官方下载 网盘备份
minimax_h3_ref2va_pruned_int8_convrot.safetensors 21.0 GB diffusion_models 官方下载页 网盘下载
minimax_h3_fun_controlnet_union_2.0_pruned_int8_convrot.safetensors 4.53 GB model_patches 官方下载页 网盘下载
qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors 15.7 GB text_encoders 官方下载页 网盘下载
minimax_h3_video_vae_int8_convrot.safetensors 2.81 GB vae 官方下载页 网盘下载
minimax_h3_audio_vae_fp32.safetensors 0.61 GB vae 官方下载页 网盘下载
minimax_h3_ref2v_turbo_4step_v0.1_comfyui_bf16.safetensors 1.96 GB loras 官方下载页 网盘下载
sdpose_wholebody_fp16.safetensors 1.92 GB checkpoints 官方下载页 网盘下载
rt_detr_v4-x-hgnet_fp16.safetensors 0.30 GB diffusion_models 官方下载页 网盘下载

看过 H3 前几篇的话,新面孔只有三件:Fun ControlNet 补丁 (动作注入的核心,放 model_patches 目录)、SDPose (全身关键点提取)和 RT-DETR(先框出人再提骨架)。官方 HuggingFace 国内可换 hf-mirror.com 直连;网盘是同文件备份,点开自动带提取码。

环境:ComfyUI v0.39 内核原生支持(SDPose/RT-DETR/FunControlNetApply 全是内置节点),零自定义节点。

三、工作流拆解:两段式流水线

这条流是 H3 全家最复杂的(原模板 46 节点),但逻辑就两段:

第一段·姿势提取:LoadVideo(动作源视频)→ RTDETR_detect(检测画面里的人)→ SDPoseKeypointExtractor(提全身关键点)→ SDPoseDrawKeypoints(画成骨架视频)。

第二段·受控生成 :角色参考图 + 提示词 → MiniMaxH3ReferenceToVideo;ref2va 主模型挂 MiniMaxH3FunControlNetApply(把骨架视频作为 control_video 注入,strength 1.0)→ +4 步 turbo LoRA → 采样出片。

关键参数:control_video 接骨架 IMAGE;end_percent 0.9(动作控制作用区间);4 步 turbo;分辨率对齐动作源视频画幅。

动作源视频哪来 :任何有人物动作的短视频都行------自己拍一段、动漫截一段、或者用 H3 自己生成(本篇的动作源就是上一篇 i2v 生成的汉服转身视频,自产自销闭环)。

四、实测踩坑

1. 检测器放对目录。 rt_detr 走 UNETLoader(diffusion_models 目录)、sdpose 走 CheckpointLoader(checkpoints 目录),两个都放 checkpoints 或都放 unet 会找不到。

2. SDPose 的 vae 输入来自 CheckpointLoader 的第三输出,不是单独的 VAELoader------接错了报缺输入。

3. 动作源视频人物越清晰复刻越稳。 多人同框会被 RT-DETR 全框出来互相干扰(max_detections 限 1);截取单人、全身入镜的片段效果最好。

4. model_patches 是独立类目。 Fun ControlNet 补丁既不在 checkpoints 也不在 diffusion_models,放 models/model_patches/,老版本 ComfyUI 目录里没有就自己建。

五、下载汇总

(城通网盘,点击自动带提取码)

模型见第二节双链表格(8 件)。模型许可按 MiniMax/SDPose 官方仓库条款;用真人视频驱动请获得当事人同意。


把爱豆的打歌视频换成动漫角色、把武侠片的招式搬到自己的原创角色身上------动作控制的玩法你自己开发。评论区说说你最想让"谁"复刻"谁"的动作,明天放出 H3 五连玩法总览(武侠/机甲/末世全套)收个尾。

相关推荐
绿算技术2 小时前
从单点性能到体系效能:存算网创新联合体启航
大数据·人工智能
衡石科技2 小时前
让多轮问数保持口径一致:Data Agent 的上下文、偏好与学习开关
人工智能·学习·安全
航天智算3 小时前
300 万预算 国产信创遥感 AI 全自动处理生产线配置实战
大数据·人工智能·昇腾·国产算力·算力适配
yangmu32033 小时前
ReShade + GITC DLSS 5 插件安装与调参指南
人工智能
AI 编程助手GPT3 小时前
GPT 排的日志时间线差一小时?用 zoneinfo 复现夏令时回拨
人工智能·python·gpt
Thanks_ks3 小时前
【第 003 讲】全面认识 Python:语言起源与设计哲学 | 行业地位与流行趋势 | 技术优势与应用领域 | 技术边界与工程局限
人工智能·python·数据分析·编程语言·python 入门·web 开发·python 之禅
Dawson Zhu3 小时前
【Runtime推理引擎④】多流并发执行:用Stream+Event让计算与通信重叠
人工智能·语言模型·架构·aigc·agi
qyr67893 小时前
全球卫星遥感服务市场前景研究与行业发展趋势
大数据·人工智能·卫星遥感服务
麻瓜code3 小时前
Spring AI 全模块 API 字典一览(1.1.0 版)
人工智能·windows·spring