VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation
一、Motivation
长视频生成正沿着两条路线发展：一是端到端模型（如Sora、Veo、Helios、LoL等）通过改进自回归生成和记忆机制来延长单次生成的时长；二是智能体（Agent）系统，通过LLM规划、分解和协调多阶段的生成工具来完成复杂的多镜头任务。
现有的智能体视频生成系统（如Mora、StoryAgent、UniVA、Co-Director）虽然有效，但它们的编排流程是固定的、人工设计的 。与此同时，通用智能体框架（如Claude Code、Codex、OpenClaw）展现了强大的工具使用和流程编排能力，甚至可以自主构建和优化工作流，但它们能否胜任长视频生成这种长时域、多模态的任务，尚未被系统性地探索。
此外，现有视频生成的评测基准几乎都只评估最终输出的质量，而忽略了生成过程中各环节可能出现的问题------例如规划缺陷、工具调用失败、中间产物损坏等。这些问题在长视频的多步生成场景中尤为突出。
VideoWeaver 正是在此背景下提出的：它既是一个智能体测试平台（harness） ，又是一个基准测试集（benchmark） ，还引入了一种技能进化算法，使智能体可以通过评估反馈来自我优化。
二、Related Work
论文从三个维度梳理了相关工作：
2.1 长视频生成
- 端到端方法：StreamingT2V（短期条件+长期外观保持）、LoViC（视频-文本上下文压缩）、Stable Video Infinity（回收自回归误差）、Helios（漂移感知训练+上下文压缩）、LoL（RoPE抖动实现小时级生成）。
- 智能体编排方法 ：VideoDirectorGPT、Mora、UniVA 等通过分层规划将剧本分解为场景/镜头/提示；StoryAgent、Co-Director 增加了批评反馈机制。但这些系统的工作流都是预定义的，无法自适应地构建和优化流程。
2.2 视频评测
- 奖励模型方法：VBench、VideoPhy、VisionReward------按维度打分，但需要大量专用评估器，且存在 reward hacking 风险。
- LLM-as-Judge 方法：Video-Bench、UniVBench、CLVG-Bench------能提供更丰富的文本反馈，但仍然只评估最终输出。
- VideoWeaver 的不同之处在于它用技能增强的 Agent-as-Judge 同时检查执行轨迹和最终视频，提取元数据、中间文件等硬证据。
2.3 自进化智能体技能
- Voyager 首次展示了智能体通过交互和自省积累可复用代码技能。
- 后续工作涵盖了从执行反馈中精炼技能（EvoSkill、CoEvoSkills）、将技能作为持久记忆（Memento-Skills、MetaClaw）、以及在工业/医学场景中验证自进化技能（SkillForge）等方向。
三、Method
3.1 任务定义与数据集
VideoWeaver 将长视频生成定义为一个智能体技能组合任务：给定一个一次性的用户指令，智能体需要规划、调用多个基础技能、管理中间产物，最终生成一个连贯的长视频。
数据集包含 16 个任务类别、285 个测试用例，输入模态覆盖文本、图像、音频、视频及其组合。数据集被划分为：
- 训练集 + 测试集：13 个类别（119 训练 + 123 测试）
- OOD 集：3 个类别（43 用例），用于评估泛化能力
任务类别丰富多样，包括 AI 数字人视频、动漫视频、产品开箱、古诗教学、电商主体替换、长视频编辑等。
3.2 技能体系（Skills Workspace）
技能体系分为三层：
- 基础技能（Foundation Skills）：自包含的、可独立调用的原子能力，如视频生成（video-gen）、图像生成（image-gen）、音频生成（audio-gen）、视觉理解（vision-understanding）、音频理解（audio-understanding）、视频元数据提取、帧提取、镜头分割、合并视频等，共 24 项。
- 组合技能（Composition Skills）：高层过程性策略，定义了基础技能的编排方式。
- 技能创建者（Skill-Creator）：一个元技能，能够根据可用基础技能和任务案例来构建组合技能。
3.3 评估方法：Agent-as-Judge
这是本文的核心贡献之一。评估框架使用 Claude Code + DeepSeek V4 作为评估智能体，通过多轮交互来评估：
过程指标（6项）：
| 指标 | 含义 |
|---|---|
| EE | 工具调用成功率 |
| CM | 是否将片段合并为最终长视频 |
| IP | 是否理解和预处理多模态输入 |
| PL | 是否在生成前制定计划 |
| SF | 组合技能步骤的遵循比例 |
| RAU | 是否使用了用户提供的参考素材 |
输出指标（7项）：
| 指标 | 含义 |
|---|---|
| FR | 时长、分辨率等硬性格式要求 |
| PR | 是否满足用户内容和指令要求 |
| VC | 跨片段的视觉一致性（角色、场景） |
| AC | 跨片段的音频一致性（说话人、背景音乐） |
| AVC | 音视频同步性 |
| PLC | 故事逻辑连贯性 |
| RF | 是否反映了多模态参考素材 |
评估智能体在每轮会调用工具提取硬证据（视频元数据、关键帧、ASR 转录、音频分离等），而非仅凭视觉"看一看"。这种 evidence-grounded 的评估方式是其核心优势。
3.4 技能进化算法
进化流程包含三个阶段：
阶段一：任务推理（Task Inference）
- 执行智能体 Aexec\mathcal{A}{\text{exec}}Aexec 使用初始技能创建者 C0C_0C0 和基础技能 F\mathcal{F}F 为每个类别生成初始组合技能 S0,kS{0,k}S0,k。
- 对每个训练案例执行推理，收集执行轨迹 τ\tauτ、输出 yyy 和评分 sss。
阶段二：技能进化（Skill Evolution）
- 优化器智能体 Aopt\mathcal{A}_{\text{opt}}Aopt 在同一上下文中，逐案例地分析评分、轨迹和输出，定位失败原因。
- 先修正组合技能，再优化技能创建者。
- 持久上下文 hkh_khk 让优化器在同一类别的案例间积累经验。
阶段三：创建者技能合并（Creator Skill Merging）
- 合并智能体 Amerge\mathcal{A}_{\text{merge}}Amerge 将多个类别级的创建者技能顺序合并为一个统一的创建者技能 C∗C^*C∗，跨类别吸收经验。
设计亮点在于：执行、优化、评估分别使用不同的 harness + model 组合（OpenClaw+Seed2.0、CodeX+GPT-5.5、Claude Code+DeepSeek V4），以缓解自我偏好偏差。
四、Experiments
4.1 Baselines
实验从两个维度设置了对比基线：
维度一：Harness × Model 组合（Table 3）
这篇论文里的"智能体"由两部分组成：一个是 harness（运行环境/框架），比如 Claude Code、CodeX、OpenClaw，它们提供工具调用、文件操作、代码执行等运行时能力；另一个是 foundation model（基础大模型），比如 GPT-5.5、DeepSeek V4、Opus 4.7、Seed 2.0，它们负责推理和决策。两者搭配使用，就像"操作系统 + CPU"的关系------同一个框架可以换不同的模型，同一个模型也可以跑在不同的框架上。
执行智能体使用不同的框架和基础模型组合：
- Claude Code + Seed2.0 / DeepSeek V4 / Opus 4.7
- CodeX + GPT-5.5
- OpenClaw + Seed2.0
其中，技能进化实验默认使用三套不同组合来分离角色、缓解自我偏好偏差：执行用 OpenClaw + Seed2.0，优化用 CodeX + GPT-5.5，评估用 Claude Code + DeepSeek V4。
维度二：技能消融对比（Table 4）
在固定 OpenClaw + Seed2.0 的执行设定下，比较以下五种配置：
- No Composition Skill：只提供基础技能，智能体在执行时自行编排工作流。
- Composition Skill：智能体先创建一个任务专用的组合技能来规定编排流程，再按其执行。
- Self-Evolution：仅根据过程和输出指标的优化目标来进化技能，不使用评判智能体的额外反馈。
- Evolution with Feedback：在进化过程中引入评判智能体生成的文本反馈作为优化信号。
- Expert Composition Skill ：由人类专家手工构建的组合技能，作为性能上限参考。
这一设计可以逐层验证：组合技能是否有用 → 自进化是否有效 → 外部反馈是否有额外增益 → 与人工设计的差距有多大。
4.2 Harness × Model 对比（Table 3）
不同的智能体框架和基础模型组合表现差异显著：
- CodeX + GPT-5.5 和 Claude Code + Opus 4.7 表现最强，输出指标平均分分别达 0.691 和 0.612，人类排名分达 4.90 和 4.64。
- 同一 harness 下更换模型影响很大：Claude Code + Opus 4.7 的过程指标平均为 0.964，换成 Seed2.0 后降至 0.692。
4.3 技能进化效果（Table 4）
在 OpenClaw + Seed2.0 的设定下：
- 无组合技能 → 有组合技能：Input Processing 从 0.571 提升至 0.886，Planning 从 0.465 提升至 0.869，说明显式的编排指导对长视频任务至关重要。
- 自进化（Self-Evolution）：过程指标平均大幅提升至 0.988，说明自进化有效捕获了可从执行轨迹诊断的程序性修复。
- 带反馈的进化：输出指标平均从 0.567（自进化）提升至 0.582，说明外部评判反馈主要贡献了智能体难以自我评估的输出质量提升。
- 专家组合技能 仍是最强参考点（输出均分 0.620，排名分 5.63），表明人工设计的编排仍有优势。
Table 3 证明了"通用智能体做长视频生成是可行的，但效果取决于配置"，Table 4 进一步证明了"通过技能进化可以系统性地提升效果，而不是只靠换更强的模型"。
4.4 泛化性（Table 6）
- 测试集上，优化后的组合技能赢 25.3%、平 58.2%、输 16.5%。
- OOD 集上，优化后的创建者技能赢 23.8%、平 59.7%、输 16.5%。
- 表明学到的编排经验可迁移到未见过的任务类别。
4.5 人类对齐（Table 7）
- 过程指标对齐度高：CM 精确匹配 0.995，RAU 为 0.970。
- 输出指标中开放性较强的维度（PR 0.679、VC 0.678）对齐度相对较低，但整体表现良好。
4.6 资源消耗（Table 5）
- 性能更强的方法通常需要更多资源（工具调用次数、LLM token、总时间）。
- 一个有趣的发现：更强方法的 VC-RGT（视觉内容生成时间占比）反而下降（0.80 → 0.72），说明它们把更多时间花在了规划、推理和协调上，而非单纯等待视频生成。
五、Conclusion
VideoWeaver 做了三件事：
- 将长视频生成形式化为智能体技能组合任务，构建了 16 类别 285 案例的基准。
- 提出了 evidence-grounded 的 Agent-as-Judge，同时评估执行轨迹和最终输出。
- 设计了技能进化算法，从评估反馈中持续优化组合技能和创建者技能。
论文也坦诚指出了局限性：数据集规模受限于计算成本；基础技能主要基于字节生态；优化方法有待探索更有原则性的方式（如更好的 credit assignment）。
六、个人思考
6.1 定位与贡献
VideoWeaver 的核心贡献不是"做了一个更好的视频生成模型"，而是提出了一个系统性的框架来研究通用智能体在长视频生成中的表现。它将问题从"如何生成更好的视频"转化为"如何让智能体学会编排工具来生成更好的视频"，这个视角非常有价值。
6.2 Agent-as-Judge 的启发
传统评测只看最终视频，而 VideoWeaver 的 Agent-as-Judge 同时检查执行轨迹。这个思路非常有启发性------在复杂的多步生成任务中，过程诊断 往往比结果评分更有价值，因为它能告诉你哪里出了问题、如何改进。
不过论文也暴露了一个问题：过程指标对齐度很高（因为可以从日志和元数据客观验证），而输出指标（特别是 PR、VC 这类需要主观判断的）对齐度明显更低。这说明 Agent-as-Judge 在客观可验证 的维度上优势明显，但在主观审美维度上仍有提升空间。
6.4 技能进化的天花板
从实验数据看，Evolution with Feedback 的输出均分（0.582）仍明显低于 Expert Composition Skill（0.620）。这说明当前的技能进化策略还没有完全逼近人工设计的上限。论文中提到的 credit assignment（归因哪个步骤导致了质量下降）是一个关键瓶颈------在长链条的执行轨迹中精准定位问题，本身就是一个很难的问题。
6.5 可复现性问题
值得注意的是，整个实验依赖字节跳动的闭源工具栈（Doubao Seedance、Seedream、Volcengine BigASR 等），虽然 harness 本身是模型无关的，但实际上其他研究者要完全复现实验会面临较大障碍。论文在 Limitations 中也承认了这一点。
一句话总结：VideoWeaver 首次系统性地研究了通用智能体框架在长视频生成中的能力，提出了过程+结果双维度的评估方法和自进化技能优化机制。它不是一个更好的视频生成器，而是一个用于研究"智能体如何学会生成视频"的实验平台。