HumanForge：基于多智能体伪造推理的以人为中心深度伪造视频基准

HumanForge：基于多智能体伪造推理的以人为中心深度伪造视频基准

论文网页原文：https://arxiv.org/html/2607.08705v1

摘要

视频扩散模型、时序图像编辑技术飞速发展，可生成高度逼真的人物类伪造视频，给数字取证带来巨大挑战。现有深度伪造基准数据集存在明显短板：大多仅聚焦换脸或全局文生视频，缺失人-物交互（HOI）、人-人交互（HHI） 与多模态对齐两大核心评测维度。

本文构建HumanForge 统一大规模以人为中心伪造视频基准数据集。为规避人工标注高昂成本、消除单一模型幻觉标注缺陷，基于LangGraph搭建模块化多智能体流水线Gen2Anno，协同6类专业智能体完成素材溯源分析、混合专家参考解析、闭环取证校验全流程，自动生成18849段高保真伪造视频，并产出结构化对比式全维度标注（omni-annotation） ，包含真伪二分类、细粒度伪影类别、时空定位、伪造成因推理文本。

在传统检测算法、多模态大模型（LMM）上开展大规模基准测试，结果表明HumanForge对零样本泛化、细粒度推理任务具备极高挑战性。数据集、完整代码后续开源释放。

三大核心贡献

1. 构建HumanForge大规模人物伪造视频基准，覆盖音频驱动、姿态驱动、人物交互、语义文生编辑四大主流生成范式，融合十余种前沿扩散生成模型；
2. 提出Gen2Anno多智能体自动标注流水线，打通生成流程与细粒度多模态取证标注链路，无需人工介入；
3. 设计带完整伪造推理的全维度标注体系，每条样本配套对比式成因文本+时空定位+分类标签，为可解释深度伪造检测提供标准化评测底座。
   

1 引言

1.1 研究背景

Wan2.1、CogVideoX、LTX-Video等时序扩散模型可生成精细人体动作、口型同步、复杂社交交互视频，大幅降低深度伪造制作门槛，严重威胁信息可信度与社会稳定，高精度人物伪造检测算法迫在眉睫。

现有取证数据集三大核心缺陷：

1. 局限静态图像：Veritas、AnomReason等可解释伪造检测框架仅针对图片，无法建模视频时序运动、音画同步动态伪影；
2. 场景覆盖狭窄：AvatarShield仅聚焦虚拟人语音驱动，ActivityForensics仅做时序动作定位，缺少人/人、人/物复杂交互场景；现实伪造极少孤立单人，物体接触、遮挡带来物理一致性校验是取证关键；
3. 盲标注偏差严重：现有自动标注仅观测成品视频，无法获取生成提示词、参考素材等原始生成元数据，易把用户指定风格修改、背景替换误判为模型生成缺陷。

1.2 本文解决方案

1. HumanForge数据集：合计18849段伪造视频，覆盖音频口型驱动、姿态动作迁移、人物交互、语义文本编辑四大真实伪造范式，融合HDTF、FF++、TikTok等真实源素材，采用十余款前沿扩散生成器构建多样化伪造样本；
2. Gen2Anno多智能体自动标注框架：基于LangGraph搭建六智能体协同流水线，利用生成元数据构建「预期状态」，与真实生成视频「实际状态」做对比校验，消除盲标注误判，输出带完整推理的结构化标注；
3. 全维度对比标注：每条样本包含真伪标签、细粒度伪影类别、时空像素定位、自然语言伪造成因推理，支撑可解释伪造检测算法评测。

2 相关工作

2.1 可解释深度伪造检测

静态图像方案：Veritas、AnomReason采用语义四元组推理，但无法处理连续视频时序缺陷；

视频评测基准FVBench仅提供粗粒度二分类标签，无细粒度时空定位与成因解释。

本文核心创新：绑定生成原始元数据，通过「预期vs真实状态」对比推理，区分人工指定修改与模型原生缺陷。

2. 取证领域多智能体系统

AnomAgent基于多智能体做静态图像语义异常拆解，但不支持视频时序、物理、音画一致性校验；

Gen2Anno是首个面向视频取证的图式多智能体流水线，自动完成素材解析、预期状态构建、视频观测、闭环校验、结构化推理标注全链路。

3 HumanForge基准数据集构建

3.1 真实源素材采集

整合公开高清真人数据集作为原始未篡改素材，总计约2000段真实视频：

1. HDTF：高清稳定上半身说话人脸；
2. DFD：日常随意人体动作、自然对话片段；
3. FFIW：多模态音频配套人脸素材；
4. FF++：人脸伪造经典数据集，无原生音频，匹配FFIW人声轨道；
5. SHHQ：全身静态人物锚定图；
6. TikTok：舞蹈全身动态视频，用于复杂姿态交互驱动。
   预处理保留各模型原生分辨率、帧率，不强制统一标准，还原真实线上伪造素材多样性，标准输出尺寸1280×720，单段视频5秒。

3.2 生成/编辑模型选型

摒弃老旧GAN架构，全部采用扩散、DiT类前沿生成器，覆盖开源、商业闭源两大类：

通用文生视频：Wan2.1、CogVideoX、LTX-Video、混元视频；

商业闭源：可灵Kling、Veo；

音频口型专用：InfiniteTalk、SkyReels；

姿态迁移：One-to-All、Animate-X、UniAnimate-DiT；

人物交互物理建模：HuMo、InfinityStar、AnchorCrafter、OmniWeaving。

3.3 四大伪造生成场景与样本量

（1）音频驱动（Audio-Driven）2721段

以人声音频为驱动，生成匹配面部微表情、眨眼、同步口型；基于HDTF/FF++人脸素材，FFIW提供人声驱动。

（2）姿态驱动（Pose-Driven）5611段

提取TikTok舞蹈骨骼姿态，映射至SHHQ、DFD静态人物，生成全身连续运动，评测空间形变、时序一致性。

（3）人物交互（Interaction）4314段

局部掩码、图像修复建模人-人、人-物体接触/遮挡关系，检验重力、穿透、遮挡边界物理规则一致性。

（4）语义文本驱动（Semantic-Driven）5467段

文本提示词+参考帧生成连续视频，校验图文语义对齐、场景逻辑一致性。

数据集总统计

场景	使用模型	原始真实素材	伪造视频数量
音频驱动	InfiniteTalk、SkyReels、Wan	FF++、HDTF	2721
姿态驱动	One-to-All、Animate、LTX、Kling	TikTok、SHHQ、DFD	5611
人物交互	HuMo、InfinityStar、AnchorCrafter、OmniWeaving、Veo	DFD、FFIW、SHHQ、TikTok	4314
语义驱动	CogVideoX、LTX、混元	DFD、FFIW、FF++、HDTF	5467
合计	10+前沿扩散模型	2000段真实源视频	18849

4 Gen2Anno多智能体自动标注框架

4.1 问题定义

输入：原始素材SSS、驱动条件DDD、生成元数据PPP（提示词、模型配置）

输出：伪造视频VfV_fVf + 结构化全维度标注O\mathcal{O}O

标注统一格式 O={y,g,R}\mathcal{O}=\{y,g,\mathcal{R}\}O={y,g,R}

• y∈{真实,伪造}y \in \{真实,伪造\}y∈{真实,伪造}：全局真伪二分类；
• ggg：细粒度伪影类别；
• R\mathcal{R}R：多条对比推理元组 ri=(ci,ei,ai,di)r_i=(c_i,e_i,a_i,d_i)ri=(ci,ei,ai,di)
  • cic_ici：缺陷类别；
  • eie_iei：基于生成元数据推导的预期状态；
  • aia_iai：视频观测到实际状态；
  • did_idi：逻辑推导，解释状态矛盾为何属于伪造缺陷。

4.2 全局状态中心化架构

Gen2Anno全部智能体共享统一结构化全局状态Gen2AnnoState，解耦智能体交互，支持模块化替换、断点保存，存储内容：

1. 素材、视频、驱动文件路径；
2. 生成完整元数据（正负提示词、模型后端、工具调用日志）；
3. 各智能体中间解析报告；
4. 校验轮次、操作日志。

4.3 六类专用协同智能体完整流水线（算法1）

# Algorithm 1 Gen2Anno 完整执行流程
输入：源素材S、驱动条件D、生成元数据P
输出：伪造视频V_f、全维度标注O
1. 初始化全局状态 Gen2AnnoState
2. A1 素材剖析智能体：解析S，输出source_description.json（固定人物、背景、光照不变约束）
3. A2 伪造执行智能体：调用生成模型产出V_f，完整记录生成元数据P
4. A3 总控调度智能体：识别生成场景，分配对应专家子智能体集合
5. A4 参考分析混合专家MoE：仅读取素材与元数据，构建无视频观测的预期状态E
6. A5 伪造检测观测MoE：仅读取生成视频V_f，输出全部实际观测特征A
7. A6 首席校验法官：对比E与A，生成对比推理标注O
8. 闭环自修正循环：若标注模糊、证据不足，重新调度A4/A5专家重观测，最多限定轮次
9. 输出最终视频与omni_annotation.json

A1 素材剖析智能体（Source Profiler）

仅解析原始真实素材，提取身份特征、固定背景、光照、物体等生成后应当保持不变的约束条件。

A2 伪造执行智能体（Forgery Executor）

兼容各类视频生成后端，统一记录提示词、驱动信号、模型配置，标准化存储生成溯源元数据；无本地模型时可读取外部已生成视频的元数据文件。

A3 总控调度智能体（Director）

识别四大生成场景，动态分配对应专业专家集合：

• 音频驱动：音画同步专家优先；
• 姿态驱动：运动、骨骼专家；
• 交互场景：物理接触、遮挡专家；
• 语义驱动：文本语义、场景逻辑专家。

A4 参考分析混合专家MoE（Reference Analyst）

全程不看生成视频 ，仅基于素材、提示词、驱动信号推导理想预期状态EEE，包含四类子专家：音画同步、实体意图、骨骼运动、场景语义。

A5 伪造观测混合专家MoE（Forgery Inspector）

仅读取生成视频，不访问原始素材与提示词，输出全部视觉、时序、音画异常观测，子专家：音画校验、物理规则、骨骼运动、时空闪烁/身份漂移检测。

A6 首席校验法官（Chief Judge）

核心对比校验模块：仅当实际观测aia_iai与预期eie_iei存在无法由生成提示词解释的矛盾时，保留该缺陷推理；过滤用户主动指定修改（如更换背景、自定义动作），避免误标注。

4.4 闭环自修正机制

若首席法官判定观测证据模糊、缺陷无充分时空定位，自动下发复查指令，调度对应A4/A5专家重新精细化分析，设置最大迭代轮次，防止无限循环，大幅提升标注准确率。

4.5 输出omni_annotation.json标准字段

1. 全局真伪标签；
2. 生成模型、场景类型；
3. 每条伪造推理条目：缺陷类型、预期状态描述、视频实际画面、矛盾推导、缺陷时空坐标、置信度；
4. 缺陷细粒度分类：口型错位、物体穿透、骨骼畸形、身份漂移、场景逻辑冲突、光照矛盾等。

5 实验评测设计（原文预留大规模基线对比章节，完整实验脚本后续开源）

5.1 评测基线模型

1. 传统手工设计伪造检测算法；
2. 主流多模态大模型（通用LMM）；
3. 现有专用视频取证MLLM；

5.2 评测指标

1. 全局真伪分类准确率；
2. 细粒度伪影分类F1；
3. 时空定位IoU；
4. 推理文本匹配相似度（衡量可解释推理能力）。

5.3 预期实验结论

1. HumanForge相比现有数据集零样本泛化难度显著提升；
2. 仅做全局二分类的模型在交互、姿态类样本大幅失效；
3. 缺少时序/物理推理的LMM无法处理人物接触、骨骼畸形类复杂伪造。

6 总结与创新点

6.1 工作总结

1. 构建18849段多范式人物伪造视频基准HumanForge，覆盖音频、姿态、交互、语义四大主流生成路线，融合十余款前沿扩散模型，补齐交互与多模态对齐评测空白；
2. 提出LangGraph多智能体自动标注流水线Gen2Anno，通过「预期-实际状态」对比消除盲标注偏差，无需人工标注介入；
3. 产出带时空定位、自然语言成因推理的全维度标注，为可解释深度伪造检测提供标准化评测资源。

6.2 局限与未来方向

1. 当前素材以短视频为主，长时序剧情类伪造样本不足；
2. 暂未覆盖3D引擎渲染、数字人实时驱动伪造；
3. 后续将扩充对抗性刻意规避类伪造样本，并基于HumanForge搭建专用细粒度伪造检测基线模型。