消费级显卡迎来实时视频生成!FastVideo 开源 FastWan-QAD,RTX 5090 实现 1.8 秒生成 5 秒 480P 视频!

传统文生视频模型推理动辄几十秒,Hao AI Lab 开源 FastVideo 框架,搭配 VSA 稀疏注意力、QAD 量化蒸馏,消费显卡也能实现 1.8 秒快速出片。

当下主流 Wan 等视频模型普遍存在推理速度慢、显存占用极高的痛点,720P 短视频单卡常需一两分钟生成,只能依赖昂贵 H200 服务器部署,普通创作者难以落地。

Hao AI Lab 推出开源统一加速框架 FastVideo,该框架产出 FastWan 系列模型,分 1.3B、5B、14B 多规格,早期版本单 H200 仅 5 秒产出 5 秒 480P 视频;升级 FastWan-QAD 后适配 RTX5090,采用 NVFP4 4bit 量化训练,端到生成缩短至 1.8 秒。框架原生支持 Wan2.1/Wan2.2 全系列,提供 LoRA 微调、多卡分布式训练方案,兼容 Windows、Mac、Linux,配套 ComfyUI 可视化工作流,代码、模型权重全部开源,采用宽松 Apache2.0 协议,兼顾科研复现与商业短视频、虚拟人素材生产需求。

相关链接

论文介绍

FastVideo 是面向视频扩散 DiT 的一体化加速开源框架,打通数据预处理、多卡训练、LoRA 微调、极速推理完整流程,集成业界主流注意力与蒸馏优化方案。核心创新 VSA 可训练稀疏注意力,解决传统稀疏方案在少步蒸馏下画质崩塌问题;配套稀疏蒸馏范式,联合优化注意力与去噪步数,最高实现百倍推理提速。后续迭代 QAD 量化感知蒸馏,训练阶段直接适配 4bit 低精度,规避传统后量化画面抖动、细节丢失缺陷。

基于框架衍生 FastWan 全系文生视频模型,提供自研高质量合成训练数据集,支持单卡消费级 GPU 与 64 卡超算集群两种部署模式,开放完整训练脚本、推理示例,生态覆盖 Gradio 网页、ComfyUI 插件,是目前落地门槛最低的高速视频生成开源工具栈。

FastWAN 的速度有多快?

下面演示的是每个模块如何在单个 H200 GPU 上加速 DiT 去噪时间(不使用文本编码器和 vae)。

方法概述

底层多重推理加速组件

  1. VSA 可训练稀疏注意力:区别固定启发式稀疏,训练阶段动态筛选关键时序 token,大幅削减注意力计算量,兼容 3-8 步极限蒸馏不崩画质;

  2. DMD 分步蒸馏:将原生 50 步去噪压缩至 3 步,师生模型分布对齐,兼顾速度与画面连贯;

  3. TeaCache 时序缓存:复用相邻时间步近似特征,重复计算直接跳过;

  4. QAD 量化感知蒸馏(新版核心):训练全程引入 NVFP4 4bit 量化噪声,让模型原生适配低精度硬件,显存减半、算力提升 2-3 倍。

统一训练生态

支持全参数微调、LoRA 轻量化微调,采用 FSDP2 分片 + 序列并行技术,最多线性扩展至 64 张 GPU;内置选择性激活重计算,大幅降低长视频训练显存开销,配套 60 万 + 自研高清合成视频数据集用于蒸馏训练。

稀疏蒸馏 (Sparse Distillation)

视频 DiT 面临两大瓶颈:多步去噪耗时极长,且长序列注意力计算呈二次方增长。FastVideo 首次提出了稀疏蒸馏技术,将视频稀疏注意力(VSA) 与分布匹配蒸馏(DMD) 在统一框架内联合训练。 其核心思想是:让学生模型(采用稀疏注意力、仅需极少步数)去匹配教师模型(采用全注意力、全步数)的输出分布。通过这种"少步数+稀疏注意力"的联合蒸馏,FastVideo 成功实现了超过 50 倍的去噪加速,同时完美保留了生成质量。

多版本 FastWan 模型矩阵

  • FastWan2.1-1.3B:轻量 480P,H200 约 5 秒、RTX5090 (QAD) 1.8 秒出片;

  • FastWan2.2-5B:720P 高清,适合商业精细画面;

  • FastWan2.1-14B:高画质预览版,适配专业影视级素材生成。

多端兼容部署方案

原生支持 NVIDIA 全系列显卡、Apple Silicon;提供 Python 极简推理 API、ComfyUI 可视化节点、Gradio 在线演示,Windows WSL 环境可一键部署。

三、实验实测效果

  1. 推理提速对比:原生 Wan2.1 14B 基线 1746 秒 / 段,叠加 VSA+DMD + 编译优化后仅 13 秒,提速超 130 倍;

  2. 消费卡性能:RTX5090 运行 FastWan-QAD,5 秒 480P 视频仅 1.8 秒生成,硬件成本大幅下降;

  3. 画质表现:QAD 量化模型无明显闪烁、物体畸变,人物、环境细节保留完整;

  4. 训练效率:64 卡 H200 集群稀疏蒸馏 4k 步即可完成模型收敛,训练成本可控;

  5. 落地适配:短视频带货、虚拟主播、动画分镜等场景均可批量高速生成素材。

相关推荐
weixin_433417676 分钟前
2026.1024【瑞萨边缘AI技术研讨会】上海站【AI 动手实践/培训环节】总结
人工智能
miofly7 分钟前
Sebastian Raschka 11 小时视频课:用 PyTorch 从零构建推理模型
人工智能
LiuPig刘皮哥9 分钟前
小可爱xiaokeai3D陪玩视觉设计方案
人工智能·3d·虚拟陪伴·虚拟偶像·xiaokeai
开开心心就好12 分钟前
本地文件搜索工具,双击Ctrl就能呼出搜索
java·服务器·前端·支持向量机·ffmpeg·音视频·模拟退火算法
第404号工位14 分钟前
浏览器的“无痕模式”是当代最大安慰剂?我用 30 行 JS 提取硬件指纹,跨网络换代理照样精准锁定你
linux·人工智能·python
刘胡子大叔17 分钟前
用 system_prompt 控制智能体说话风格
人工智能·prompt
Agent世界17 分钟前
千问Go上线我的应用:一句话生成可部署 AI 软件的技术拆解
开发语言·人工智能·golang·ai智能体
xiejava101820 分钟前
【一个人的SOC】(12) AI 安全报告与主动推送——五种场景的自动化闭环
人工智能·安全·自动化·开源软件·安全运营·ai soc
小豆庄22 分钟前
视频脱敏引擎的追踪难题:转场误判定、ID撞号和淡入窗口
qt·算法·目标检测·音视频·视频·敏捷流程
AI前端工程狮22 分钟前
从 Function Calling 到 MCP(四):把 Server 部署上线前,先处理好这五件事
人工智能·程序员