2026 开源视频生成模型全景图:按 9 类任务路由比按参数量选模型更可靠

TL;DR

  • 场景:你想找一个能本地跑的开源视频模型,但 2026 年公开权重已覆盖 T2V / I2V / TI2V / Reference-to-Video / Animate / Audio-to-Video / 联合音视频 / 世界模型 9 类任务,参数从 1.3B 到 30B-A3B,许可证从 Apache 2.0 到 CC BY-NC-SA 各异。
  • 结论 :不存在一个「总冠军」模型,按任务路由比按参数量选模型更可靠;2026 年的实际选型标准是「任务 → 公开推理命令 → 显存门槛 → 许可证 → 生态成熟度」五条。
  • 产出:9 类任务定义、11 个家族 × 6 维度定位表、3 条生态分界线、12-48GB 候选池、5 种错误选型方法、模型地图维护方法论、10 条常见误解速查。

版本矩阵

模型家族 主要任务 公开规模 公开推理配置 显存门槛 许可证 状态
HunyuanVideo-1.5 T2V、I2V、超分 8.3B 480P/720P、CFG 蒸馏、sparse attention 14GB 单卡 / 80GB 正式 腾讯混元社区许可 ✅ 已验证(2025-11-21 公开)
Wan2.2 全家 T2V、I2V、TI2V、S2V、Animate 5B / A14B(27B 总 / 14B 激活) 8 GPU / DiT FSDP + T5 FSDP + Ulysses 8 24GB+ / 80GB+ Apache 2.0 ✅ 已验证
Wan2.2-TI2V-5B T2V + I2V 统一 5B 密集 1280×704 / 24fps / 9 分钟 / 5 秒 22-24GB(RTX 4090) Apache 2.0 ✅ 已验证(2025-07-28 公开)
Wan2.2-Animate-14B 角色动画 + 角色替换 14B 14B 路径 24GB+ Apache 2.0 ✅ 已验证
SkyReels-V3 多参考图、Extension、Audio-to-Video 14B / 19B 720P、24fps、5--30 秒 24GB+ / 多卡 xDiT USP ⚠️ 标记 "other"(地区美国);具体条款需核对 ✅ 已验证(2026-01-29 公开)
SkyReels-V2 T2V、I2V、Diffusion Forcing 14B 长视频路径 24GB+ 复杂 ✅ 已验证
LTX-2.3 T/I2V、联合音视频、V2V、关键帧 22B 两阶段高质量 Pipeline 资源占用高 需明确 ✅ 已验证
LingBot-Video T2V、TI2V、具身视频 Dense 1.3B / MoE 30B-A3B + Refiner 720P+ Apache 2.0 ✅ 已验证(2026-07-09 公开)
Kandinsky 5 T2V、I2V Lite 2B / Pro 19B 5--10 秒 Lite 轻 / Pro 重 复杂 ✅ 已验证
CogVideoX T2V、I2V 多代多规模 Diffusers/ComfyUI 16GB+ Apache 2.0 ✅ 已验证
Mochi 1 T2V 公开权重 Apache 2.0 16GB+ Apache 2.0 ✅ 已验证
Step-Video T2V、TI2V 30B 长帧数 80GB+ 复杂 ✅ 已验证
Open-Sora T2V、I2V、训练框架 多版本 研究平台 24GB+ Apache 2.0 ✅ 已验证
LingBot-Video arXiv 论文 --- --- arxiv:2607.07675 --- --- ⚠️ 用户声明;联网核查未直接命中此 ID(6 位后缀与 arXiv 5 位规则不一致),发布前请核 arXiv 实际编号

开源视频生成已经不是"找一个文生视频模型"这么简单。到 2026 年,公开权重覆盖了文本生成视频、首帧驱动、多参考图、视频续写、角色动作迁移、音频驱动人物、音视频联合生成和具身世界建模。模型之间真正的差别,不只是画面是否漂亮,而是它接受什么条件、能控制什么、需要什么硬件,以及能否进入稳定生产链路。

本文不排列一个脱离场景的"总榜"。更有用的方法,是先把任务拆开,再把模型放回各自擅长的坐标。

一、视频生成已经分化为九类任务

1. 文本生成视频:T2V

输入一段文字,模型决定主体、构图、动作、环境和摄影机。T2V 适合概念探索、空镜、氛围镜头和没有固定角色资产的内容。它的自由度最高,也最难维持跨镜头人物一致性。

代表家族包括 HunyuanVideo、Wan、Kandinsky、CogVideoX、Mochi、Open-Sora 和 Step-Video。

2. 首帧生成视频:I2V

输入一张图片和动作提示词,模型从该图出发生成后续帧。I2V 适合已经完成美术定稿、分镜或角色构图的工作流。它通常比 T2V 更容易保持画面风格和场景结构,但首帧条件仍会随着时间衰减,不能等同于长期身份绑定。

HunyuanVideo-1.5、Wan2.2、Kandinsky 5、LTX-2 等都提供 I2V 路线。

3. 文本与图片统一模型:TI2V

TI2V 让同一组权重同时处理 T2V 和 I2V。Wan2.2-TI2V-5B 是典型例子:官方说明它支持 720P、24 fps,并把文本和图片条件放进同一模型。1

统一模型的优势是部署简单、能力边界连续;代价是不能只凭"统一"推断它在每个子任务上都优于专用模型。

4. 多参考图生成:Reference-to-Video

一张完整首帧无法独立指定"这个人、那件衣服、这个商品、那个背景"。多参考图模型允许把角色、物体和场景作为不同条件输入。SkyReels-V3 的官方实现支持 1 至 4 张角色、物体或背景参考图。2

这类模型更接近商业平台的"主体参考"工作流,但参考一致性、多人组合和遮挡处理仍需实测。

5. 视频续写与首尾帧控制

Video Extension 从已有视频继续生成,首尾帧控制则约束镜头的起点和终点。它们适合延长成功片段、补足转场或连接两个关键姿态。SkyReels-V2/V3、LTX 的部分 Pipeline 和其他社区工作流都覆盖这一方向。

"可续写"不意味着可以无限延伸而不漂移。随着生成长度增加,身份、空间关系和动作逻辑仍可能逐段累积误差。

6. 视频转视频与局部重生成:V2V

V2V 用已有视频提供动作、节奏、构图或结构,再由模型重绘风格、角色和场景。它的控制力通常高于纯文本,但需要处理源视频版权、动作适配和遮挡一致性。

LTX-2.3 的官方 Pipeline 已包括 IC-LoRA、关键帧插值和时间区间局部重生成等路线。3

7. 角色动作与替换

这类模型输入角色图、姿态、表情或参考动作视频,让指定角色复现动作,或者替换源视频中的人物。Wan2.2-Animate-14B 将角色动画和角色替换作为独立模型发布。1

它适合精确表演、舞蹈、操作物体和既有动作迁移,但预处理和后期修复成本通常高于普通 I2V。

8. 音频驱动人物与联合音视频生成

音频驱动人物模型以声音控制口型、表情和身体动态;联合音视频模型则在同一系统中生成同步画面和声音。HunyuanVideo-Avatar 面向音频驱动角色,LTX-2 则把同步音频和视频作为同一基础模型的核心能力。45

这两类任务不能混为一谈:一个是"已有音频驱动视频",另一个是"模型同时决定音频和视频"。

9. 世界模型与具身视频

世界模型强调可交互、长期一致和物理行为,具身视频更关注机器人操作、导航、第一人称视角和任务完成。2026 年 7 月发布的 LingBot-Video 使用 MoE 视频预训练,项目目标明确指向具身智能和物理合理性,而不是只优化影视审美。6

它代表了视频模型从内容生成向环境模拟和动作先验扩展的方向。

二、主流开源模型家族的定位

下表用于快速定位,不代表统一条件下的质量排名。

模型家族 主要任务 公开规模/版本 突出能力 部署注意点
HunyuanVideo-1.5 T2V、I2V、超分 8.3B 720P、较低门槛、官方 ComfyUI/Diffusers/LightX2V 支持 腾讯混元社区许可;正式画质与蒸馏版需区分
Wan2.2 T2V、I2V、TI2V、S2V、Animate 5B、A14B、14B 模型矩阵完整,TI2V-5B 支持 720P/24fps A14B 官方单卡门槛高,多卡路线更复杂
SkyReels-V3 多参考图、续写、音频引导、V2V 14B/19B 路线 1---4 张参考图、多主体、角色和场景组合 低显存依赖 FP8 与 Block Offload;逐模型核对许可
SkyReels-V2 T2V、I2V、Diffusion Forcing 14B 等 长视频、延续、首尾帧和长时序探索 长视频不是零漂移,显存与时间成本显著增加
LTX-2.3 T/I2V、联合音视频、V2V、关键帧 22B 同步音视频、两阶段高质量 Pipeline、工具链活跃 资源占用高;全模型、蒸馏、量化和 Pipeline 需明确
LingBot-Video T2V、TI2V、具身视频 Dense 1.3B、MoE 30B-A3B + Refiner 物理行为、机器人和第一人称数据导向 2026 年 7 月新发布,生态成熟度仍待观察
Kandinsky 5 T2V、I2V Lite 2B、Pro 19B 5/10 秒、可控镜头、英俄提示词 Pro 默认采样成本高,生成速度和环境依赖需评估
CogVideoX T2V、I2V 多代、多规模 生态成熟、Diffusers/ComfyUI 资料多 适合作为成熟基线,不应仅凭发布时间判定质量
Mochi 1 T2V 公开权重 Apache 2.0、社区工作流成熟 属于较早一代,适合基线与低成本实验
Step-Video T2V、TI2V 30B 大规模模型、长帧数研究价值 推理架构和资源要求较重,不是最省事的本地方案
Open-Sora T2V、I2V、训练框架 多版本 训练、数据和基础设施研究价值 更像研究平台,不一定是开箱即用生产首选

三、三条最重要的生态分界线

分界线一:生成模型与控制模型

T2V 模型擅长"创造",I2V 和参考图模型擅长"约束",动作驱动模型擅长"执行"。同一项目通常需要多种后端,而不是寻找一个包打天下的模型。

一个实用路由可以是:

text 复制代码
概念和空镜 → T2V
已经有首帧 → I2V
固定人物与商品 → Reference-to-Video
精确动作 → Animate / V2V
对白人物 → Audio-to-Video / Avatar
同步声音 → Joint Audio-Video
长镜头 → Extension / Diffusion Forcing

分界线二:模型开放与部署成熟

权重开放不代表开箱即用。一个模型要进入生产,至少还需要:

  • 可复现的推理代码;
  • 可下载且版本明确的权重;
  • VAE、文本编码器和视觉编码器配套;
  • 显存管理、量化或卸载;
  • ComfyUI、Diffusers 或高性能后端支持;
  • 稳定的输入输出格式和日志。

HunyuanVideo-1.5 的优势之一不是"绝对画质第一",而是官方代码、Diffusers、ComfyUI 和 LightX2V 已形成多条可选路径。7

分界线三:可以运行与可以生产

单次跑出视频只证明环境可用。生产要求模型在多次生成中保持可预测性:首帧不漂、动作不过度、失败可重现、参数可记录、输出可追踪、升级可回滚。

因此评估模型时,需要同时看四个维度:

维度 问题
生成质量 画面、运动、时间一致性是否达到目标
控制能力 首帧、角色、动作、镜头和时长能否约束
系统成本 显存、内存、磁盘、推理时间和并发成本
工程成熟度 安装、API、日志、版本、许可和社区支持

四、按 2026 年生态状态建立一个务实的候选池

对于希望在 24GB 至 48GB 单卡上开始实验的团队,第一批候选可以限定为:

  • HunyuanVideo-1.5:完整 720P I2V 作为首帧驱动基线;
  • Wan2.2-TI2V-5B:统一 T2V/I2V 和 720P 路线;
  • SkyReels-V3:多参考图和主体一致性专项;
  • LTX-2.3:音视频联合与高级 Pipeline 专项;
  • CogVideoX 或 Mochi:成熟生态和历史基线。

拥有 80GB GPU 或多卡环境后,再加入 Wan2.2 A14B、Kandinsky 5 Pro、LTX 全质量 Pipeline 和 LingBot-Video MoE。这里的顺序是部署优先级,不是画质排名。

五、不要用五种错误方法选模型

第一,只看官方精选样片。样片说明上限,不说明中位数和失败率。

第二,只看参数量。HunyuanVideo 原版超过 13B,而 1.5 是重新设计的 8.3B 模型;架构、数据、VAE、条件注入和后训练都可能比参数量更关键。78

第三,只看最低显存。最低显存通常建立在卸载、量化、低分辨率或慢速解码上,不代表正式配置。

第四,把 I2V 当成永久角色绑定。第一帧的身份条件会随时间弱化,多参考图和专用角色模型也需要跨镜头实测。

第五,忽略许可证。代码许可证和权重许可证可能不同,地域、用户规模和竞争模型训练限制也可能影响商业使用。

六、下一步:从需求倒推模型

全景图只能告诉我们有哪些方向,不能替代具体选型。下一篇将把需求拆成首帧驱动、固定人物、多人同框、精确动作、长镜头、说话人物和同步音视频,并按 12GB、24GB、48GB、80GB 与多 GPU 给出决策路径。

参考资料

  1. Wan2.2 官方仓库
  2. SkyReels-V3 官方仓库
  3. LTX-2 官方 Pipeline 文档
  4. HunyuanVideo-Avatar 官方仓库
  5. LTX-2 官方仓库
  6. LingBot-Video 论文
  7. HunyuanVideo-1.5 官方仓库
  8. HunyuanVideo 原版官方仓库
  9. Kandinsky 5 官方仓库
  10. Open-Sora 官方仓库

版本记录

  • 2026-07-11:母稿 v0.1,按当前公开仓库整理模型矩阵。

如何维护这张模型地图

视频模型变化很快,静态表格通常几周后就会出现偏差。维护时不要只改模型名称和版本号,而要为每次更新保留四类证据:官方仓库或模型卡的 revision、实际使用的权重文件、许可证快照,以及固定测试集的运行记录。某个项目新增"低显存模式",还要确认它依赖的是 CPU Offload、FP8、蒸馏还是专用内核,因为这些方法对应不同的速度和质量代价。

建议把模型地图拆成机器可读清单和人工结论两层。清单记录任务、输入条件、精度、分辨率、帧数、显存、耗时与许可证;人工结论只回答当前场景应该把任务路由到哪里。这样模型升级时可以重跑固定样本,而不是重新依赖印象判断。

同样要保留"未知"。没有在目标硬件上运行过,就写待实测;只有项目方样片,就写官方展示;来自社区量化或第三方节点,就明确标注实现来源。把证据等级写进模型地图,比追求一个看似完整但无法复查的排行榜更有价值。


错误速查卡

症状 根因 定位 修复
误以为「找一个文生视频模型」就能解决所有任务 2026 年生态已分化为 9 类任务,没有一个模型包打天下 看「视频生成已经分化为九类任务」节 按 9 类任务路由:T2V / I2V / TI2V / Reference / Extension / V2V / Animate / Audio-to-Video / 联合 / 世界模型
只看参数量选模型 参数量不能反映架构、VAE、条件注入和后训练 看「不要用五种错误方法选模型」 HunyuanVideo 原版 13B vs 1.5 重新设计 8.3B 是反例;架构比参数更关键
只看最低显存选模型 最低显存通常建立在 CPU offload / 量化 / 低分辨率 / 慢速解码上 看「分界线二:模型开放与部署成熟」 按正式配置(8 GPU FSDP)规划,按最低配置验证可行性
把 I2V 当成永久角色绑定 第一帧身份条件会随时间弱化 看「首帧生成视频:I2V」节 跨镜头主体一致性用 Reference-to-Video(SkyReels-V3)或专用角色模型
忽略许可证 代码许可证、权重许可证、地域限制、用户规模都可能不同 看「不要用五种错误方法选模型」第五点 SkyReels-V3 标记为 "other"(地区美国),商用前要逐模型核对
把 T2V 拿去生成需要固定人物的视频 T2V 自由度最高,也最难维持跨镜头人物一致性 看「文本生成视频:T2V」节 固定人物 → Reference-to-Video 或 Animate;T2V 只用于空镜和概念探索
把 Audio-to-Video 与联合音视频混为一谈 一个是「已有音频驱动视频」,另一个是「模型同时决定音视频」 看「音频驱动人物与联合音视频生成」节 已有音频用 HunyuanVideo-Avatar;想自动配音用 LTX-2.3 联合
把 World Model 当成视频生成器 World Model 强调可交互、长期一致、物理行为,不是内容生成 看「世界模型与具身视频」节 World Model 适合 Agent 训练和环境模拟;做内容用 Video
只看官方精选样片做选型决定 样片说明上限,不说明中位数和失败率 看「不要用五种错误方法选模型」第一点 用固定测试集跑多个 prompt;保留失败样本和复现条件
维护模型地图时只改名称和版本号 缺少证据链(revision、权重快照、许可证、测试集记录) 看「如何维护这张模型地图」 保留四类证据:仓库 revision、实际权重文件、许可证快照、固定测试集运行记录
相关推荐
2601_956414147 小时前
AI3D工作流应该包括哪些环节?用V2Fun从生成推进到可动资产
人工智能·3d
Urbano8 小时前
稳产提质、快返增效:慧拿智能模板机重塑服装厂精细化盈利模式
大数据·人工智能
新知图书8 小时前
测试与发布(新闻早报智能体开发)
人工智能·agent·ai agent·智能体·扣子
lisw058 小时前
【计算机科学技术】从晶圆制备到芯片出厂的流程
人工智能·机器学习·制造
武子康8 小时前
OpenAI 为什么需要 FDE:模型公司正在变成交付公司
人工智能·llm·openai
alxraves8 小时前
零成本搭建个人AI Agent:在本地电脑上部署免费智能助手详细教程
人工智能·电脑
AI星桥小王子8 小时前
文字转视频 vs 图像转视频:两类 AI 生成技术效果与效率横向测评
人工智能
Bode_20028 小时前
中台多模态异构跨库缝合与动态机理图谱自动创成方法
人工智能·智能工厂·工业大模型
哥本哈士奇8 小时前
医疗器械行业 Salesforce Territory 完整落地实例
大数据·人工智能