文生视频模型总表

文章目录

一、开源(可本地ComfyUI/Diffusers部署,N卡CUDA)

1. MiniMax H3(Hailuo 海螺3.0)

  • 特点:全模态统一模型,原生音视频一起生成,24fps;强人物动态、镜头运镜、角色一致性;支持首末帧、多参考图/参考视频锁定角色
  • 显存门槛:12G起步,8G可FP8剪枝+全offload,24G可跑2K再生
  • 短板:访存压力巨大,推理慢,模型体积大
  • 许可:权重开源,商用看协议

2. Wan2.1 / Wan2.2(阿里万相)【新手首选】

  • 版本:1.3B(8G显存入门)、14B(高画质24G+);T2V / I2V,支持视频内渲染文字
  • 特点:生态最成熟,Apache2.0允许商用 ;画面干净稳定;无原生音频,音频需要后期叠加
  • 分辨率:480p~720p,单段5s左右
  • 适用:大量迭代试镜头、写实短片、低成本本地批量生成

3. LTX-Video(Lightricks LTX2.3 / LTX2.5)

  • 亮点:原生音视频联合生成,推理速度很快,支持4K;轻量蒸馏版本速度优势巨大
  • 架构:Video DiT;T2V/I2V
  • 显存:10G+可跑720p;适合需要音画一体、快速出片场景

4. CogVideoX(清华智谱)

  • 老牌标杆,CogVideoX-5B、CogVideoX-10B;国内早期开源文生视频
  • 特点:中文理解好,生态完善,ComfyUI节点齐全;人物容易手部崩坏,动态上限弱于Wan/H3
  • 显存:5B版本10G可跑,适合学习基线

5. HunyuanVideo 混元视频(腾讯)

  • HunyuanVideo 8.3B;T2V+I2V,720p
  • 优势:中文提示词理解强,人物稳定性不错,官方ComfyUI支持完善
  • 许可:社区许可,商用有约束

6. Mochi(Genmo)

  • 10B,DiT架构;长时序,画面质感柔和;显存需求高(≥20G)
  • 定位:艺术向、电影感短片

7. Open-Sora / Open-Sora Plan

  • 主要是研究项目,训练框架开源;推理权重版本多,工程化不如Wan/Hunyuan;适合科研二次开发,不推荐普通创作

8. Allegro(Rhymes AI)

  • 2.8B,Apache2.0;720p,6s片段;轻量DiT,适合小显卡做动态测试

二、闭源在线模型(不能本地部署,仅网页/API调用

  1. Pika Labs(Pika 2.5):动画、风格化最强,艺术短片、特效镜头天花板;写实略弱
  2. Runway Gen-4:电影镜头、Motion Brush局部动画控制,影视广告专业向
  3. Kling可灵AI(快手):国内平台,强写实、中文提示词,电商/短剧常用
  4. Vidu生数科技:物理仿真强,动画、写实双优
  5. Google Veo:长时序、物理一致性强,海外API
  6. OpenAI Sora:长视频、物理模拟顶尖;目前已停止面向普通用户开放

选型速查表(本地部署优先)

模型 显存下限 原生音频 最强优势 短板
Wan2.1 1.3B 8G 门槛最低、稳定、商用友好 无原生音频
MiniMax H3 12G 人物动态、运镜、音画一体 吃显存、推理慢
LTX 2.5 10G 生成速度快,原生音视频 复杂人物细节一般
CogVideoX-5B 10G 中文好,生态成熟 手部容易崩坏
HunyuanVideo 8.3B 12G 中文理解强,人物稳定 商用协议受限
相关推荐
程序猿编码1 小时前
LLM 技术迁移音频领域:基于 GGML 搭建 Roformer,端侧音乐人声分离实现详解
c++·llm·音视频·transformer·模型推理·ggml
敲代码的嘎仔2 小时前
从零实现视频续播 + 学习进度统计:前端心跳、条件更新、GROUP BY 统计全链路拆解
java·前端·数据库·学习·面试·职场和发展·音视频
linux_cfan3 小时前
HTML5 视频交互标注实践:用开源播放器 ZWPlayer 实现热区、测验与分支节点(附接入代码)
前端·javascript·音视频
我就是DaLing呀!3 小时前
flutter + ffmpeg_kit_extended_flutter 大视频合并下载
flutter·ffmpeg·音视频
tedcloud12311 小时前
Wand-Enhancer 怎么搭建?开源 Wand 客户端增强与远程控制工具介绍
大数据·服务器·人工智能·开源·音视频
找方案14 小时前
AI视频生成对决:Sora vs 可灵 vs Veo,谁能定义未来
人工智能·机器学习·音视频
m0_6145235516 小时前
差异很大的两段视频怎么自然衔接:切点、AI转场与失败回退
人工智能·音视频
TechVoyager_824617 小时前
IT68353多协议视频转换芯片的硬件架构与协议能力分析
硬件架构·音视频·it68353·多协议音视频·typec 扩展坞·dp hdmi 转换
可乐鸡翅yeah_20 小时前
hls.js 播放质量埋点实战,采集卡顿、起播、错误指标定位线上用户问题
开发语言·前端·javascript·ecmascript·音视频·m3u8·音视频在线播放