多角色 AIGC 短片的双模型分工:静态生图与图生视频怎么接

多角色 IP 做 AIGC 短片,最容易失败的地方不是单帧质量,而是跨镜头的一致性:同一个角色在礼盒旁、雪橇上、画框里和圣诞树前,是否还是同一个角色;道具是否始终属于同一个角色;角色进入动态后,翅膀、手部和身体比例是否稳定。

本文以MINISO YOYO 的全球圣诞片为例,拆解一条 46 秒、多角色、跨三座城市的 AIGC 3D 短片,是如何把"一致性"从主观判断变成可执行工程的。项目交付为 1 条 46 秒主片 + 5 张动态海报,周期 20 天。

FansAI x MINISO YOYO:AIGC全球宣传片

一、先把"一致性"拆成四个可检查的维度

在生成之前,需要把模糊的"像不像"拆成可验证的维度,否则审核只能靠感觉:

维度 检查对象 失效表现
身份一致性 五官、头型、比例、材质 同一个角色在不同镜头"换了个人"
道具归属 星星棒、月亮棒、枫叶棒、魔法帽 道具跑到错误角色手上
空间关系 角色与地标、角色与地面的接触点 悬浮、穿模、透视不符
色彩规则 深蓝夜空、圣诞红、礼物金、雪地白 单镜头色调漂移,剪辑后断裂

这四个维度必须在资产生成阶段就锁定,进入动态生成阶段之后再去修,成本会成倍增加。

二、资产层:把角色拆成可调用单元

这套流程的第一步不是写提示词,是建资产表。每个角色、每件服装、每根魔法棒、每个场景,都对应一个可被引用的资产 ID:

json 复制代码
{
  "ip": "YOYO",
  "assets": {
    "character_base": {
      "id": "yoyo_base_v3",
      "traits": ["pumpkin_head", "minimal_eyes", "soft_body"],
      "refs": ["ref/front.png", "ref/side.png", "ref/back.png"]
    },
    "costumes": [
      {"id": "xmas_hat", "owner": "leader"},
      {"id": "wing_pink", "owner": "opener"}
    ],
    "props": [
      {"id": "star_wand", "owner": "converter_a"},
      {"id": "moon_wand", "owner": "converter_b"},
      {"id": "maple_wand", "owner": "pusher"}
    ],
    "scenes": [
      {"id": "toronto_snow", "palette": ["deep_blue", "snow_white", "xmas_red"]},
      {"id": "louvre_hall", "palette": ["gold", "deep_blue", "xmas_red"]},
      {"id": "nyc_night", "palette": ["deep_blue", "xmas_red", "gift_gold"]}
    ]
  }
}

资产表的作用是让"角色---服装---道具---场景"形成固定映射:粉红翅膀 YOYO 负责启动礼盒,圣诞帽 YOYO 负责带队,星星棒与月亮棒 YOYO 负责魔法转换,毛球与枫叶棒 YOYO 负责推进城市段落。

角色分工一旦写进资产表,生成阶段就不会出现"这个镜头该用哪个 YOYO"的随机决策,这是多角色项目最省返工的一步。

三、生成管线:参考图约束 + 图生视频 + 首尾帧控制

项目采用多模型协同:前期用 Nano Banana 2.1 完成角色与场景参考、关键画面和分镜探索,动态阶段用 Seedance 2.5 完成图生视频、角色动作与镜头运动。

管线可以抽象成四段:

python 复制代码
def generate_shot(shot, assets):
    # 1) 参考图约束:身份 + 道具 + 场景
    refs = [
        assets["character_base"]["refs"][0],
        assets["props"][shot.prop]["ref"],
        assets["scenes"][shot.scene]["ref"],
    ]

    # 2) 关键画面生成(静态锁定构图与光比)
    keyframe = text_to_image(
        prompt=build_prompt(shot, assets),
        refs=refs,
        style_lock="ip_consistency_v3",
    )
    keyframe = human_fix(keyframe, notes=shot.fix_notes)  # 人工精修

    # 3) 图生视频:首尾帧约束 + 动作描述
    clip = image_to_video(
        first_frame=keyframe,
        last_frame=shot.last_frame_ref,   # 转场镜头必填
        motion=shot.motion_prompt,
        camera=shot.camera_move,
    )

    # 4) 局部修正 + 审核,不通过则回到关键帧
    for _ in range(MAX_RETRY):
        clip = local_inpaint(clip, regions=shot.fix_regions)
        if review(clip, shot.checklist):
            return clip
    return escalate_to_manual(shot)

几个关键参数与策略:

  • 首尾帧控制优先:跨场景转场(雪地→画框→城市夜景)必须给尾帧参考,否则模型会自行"补"一个中间状态,导致空间关系断裂。
  • 参考图数量控制:单次生成给 3-5 张参考图足够,超过容易互相干扰,角色特征被平均化。
  • 动作描述颗粒度:只描述"谁在做什么、朝哪个方向、和什么接触",不描述情绪形容词;情绪由光影和构图承担。
  • 重试上限:单镜头 3-4 轮未通过就回到关键帧重做,避免在错误构图上反复修补。

四、分镜结构:把叙事功能写进 schema

这套项目里,每个城市不是"场景",而是一个叙事章节,因此分镜表除了常规的景别、运镜、时长,还要带三个叙事字段:

python 复制代码
SHOT = {
    "shot_id": "B07",
    "scene": "city_b_hall",
    "chapter_function": "transition",     # departure / transition / amplify / closure
    "continuity_device": "red_ribbon",    # 视觉连续性机制
    "variants": ["conv_b"],
    "props": ["moon_wand"],
    "camera": {"type": "dolly_out", "speed": "slow"},
    "duration_s": 3.2,
    "palette_lock": True,
    "scene_transition": True,
    "last_frame_ref": "keyframe_013.png",
}

chapter_function 是这套结构里最有用的字段。它避免了一个常见问题:每个镜头单独看都成立,连起来却没有节奏。当分镜表能标出"这一镜是出发、这一镜是转换、这一镜是放大",剪辑阶段就不需要靠感觉重新组织叙事。

continuity_device 则是转场的技术落点------所有用到丝带的镜头,在生成时都要额外传入丝带的参考图与运动方向,否则模型会把丝带当成随机装饰,转场就断了。

五、人工审核:把主观判断变成清单

生成端的稳定性只能做到"减少偏差",最终收敛靠审核清单。这个项目的审核项包括:

  1. 角色五官、头型、比例是否与基准一致;
  2. 服装与道具归属是否与资产表匹配;
  3. 角色与地标的空间关系是否成立(接触点、阴影方向、透视);
  4. 单镜头色彩是否落在该场景的调色板内;
  5. 相邻镜头之间是否存在跳色或比例跳变;
  6. 转场是否符合预设的连续性机制(礼盒、丝带、星星、魔法动作)。

这套清单的价值在于:它把"审美判断"留在设计师手里,把"规则校验"交给流程,避免审核变成每个人各说一套。

六、交付形态:一套资产,多个出口

5 张动态海报不是主片完成后的附加物,而是同一套资产的第二个出口------主片负责整体叙事,海报把角色、地标和节日瞬间拆成可独立传播的内容单元。

这对工程的要求是:资产表必须支持不同画幅、不同时长、不同运动幅度的输出,而不是围绕单一成片做一次性配置。主片和海报共享同一套角色与场景资产,才能保证品牌在不同投放位上看起来是同一个世界。

七、结论

在原创 IP 的 AIGC 制作中,FansAI 的实践结论可以浓缩成三句话:

  1. 一致性问题在资产层解决,不在生成层解决;
  2. 角色分工要写进结构,不靠生成阶段临时判断;
  3. 审核要清单化,让设计师做审美判断,让流程做规则校验。

模型会持续迭代,生成质量会越来越容易追平;真正构成壁垒的,是资产结构的清晰度和跨镜头控制的工程化程度。

从工程视角看,这类项目的交付对象其实不是"一条视频",而是一套能被反复调用的视觉资产库加上一套可复用的控制流程------视频只是这套资产的一次输出结果。

相关推荐
狼爷15 小时前
看懂了历史,为什么你反而更怕 AI
aigc
Csvn15 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
ZhengEnCi19 小时前
AI 规则越多越费 Token:无关规则让每次回答多耗 46% 的规则体检提示词
aigc·ai编程·claude
字节跳动开源20 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
Nturmoils21 小时前
文件明明在本地,为什么自动验收仍说没交?我的 SoduWork 使用记录
aigc
小虎AI生活1 天前
最近爆火的 Chrome 新 skill 装进 WorkBuddy,AI 写代码起飞了
aigc·ai编程
Dawson Zhu1 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
倔强的石头_1 天前
SoduWork 实测:630 字老员工叮嘱才能做对的活,新人一句话 + 一个插件全做对了
aigc
threerocks1 天前
Seedream 5.5 vs GPT Image 2.6:15 道题实测,同一份提示词,不挑图
aigc