消费级显卡迎来实时视频生成!FastVideo 开源 FastWan-QAD,RTX 5090 实现 1.8 秒生成 5 秒 480P 视频!

传统文生视频模型推理动辄几十秒,Hao AI Lab 开源 FastVideo 框架,搭配 VSA 稀疏注意力、QAD 量化蒸馏,消费显卡也能实现 1.8 秒快速出片。

当下主流 Wan 等视频模型普遍存在推理速度慢、显存占用极高的痛点,720P 短视频单卡常需一两分钟生成,只能依赖昂贵 H200 服务器部署,普通创作者难以落地。

Hao AI Lab 推出开源统一加速框架 FastVideo,该框架产出 FastWan 系列模型,分 1.3B、5B、14B 多规格,早期版本单 H200 仅 5 秒产出 5 秒 480P 视频;升级 FastWan-QAD 后适配 RTX5090,采用 NVFP4 4bit 量化训练,端到生成缩短至 1.8 秒。框架原生支持 Wan2.1/Wan2.2 全系列,提供 LoRA 微调、多卡分布式训练方案,兼容 Windows、Mac、Linux,配套 ComfyUI 可视化工作流,代码、模型权重全部开源,采用宽松 Apache2.0 协议,兼顾科研复现与商业短视频、虚拟人素材生产需求。

相关链接

论文介绍

FastVideo 是面向视频扩散 DiT 的一体化加速开源框架,打通数据预处理、多卡训练、LoRA 微调、极速推理完整流程,集成业界主流注意力与蒸馏优化方案。核心创新 VSA 可训练稀疏注意力,解决传统稀疏方案在少步蒸馏下画质崩塌问题;配套稀疏蒸馏范式,联合优化注意力与去噪步数,最高实现百倍推理提速。后续迭代 QAD 量化感知蒸馏,训练阶段直接适配 4bit 低精度,规避传统后量化画面抖动、细节丢失缺陷。

基于框架衍生 FastWan 全系文生视频模型,提供自研高质量合成训练数据集,支持单卡消费级 GPU 与 64 卡超算集群两种部署模式,开放完整训练脚本、推理示例,生态覆盖 Gradio 网页、ComfyUI 插件,是目前落地门槛最低的高速视频生成开源工具栈。

FastWAN 的速度有多快?

下面演示的是每个模块如何在单个 H200 GPU 上加速 DiT 去噪时间(不使用文本编码器和 vae)。

方法概述

底层多重推理加速组件

  1. VSA 可训练稀疏注意力:区别固定启发式稀疏,训练阶段动态筛选关键时序 token,大幅削减注意力计算量,兼容 3-8 步极限蒸馏不崩画质;

  2. DMD 分步蒸馏:将原生 50 步去噪压缩至 3 步,师生模型分布对齐,兼顾速度与画面连贯;

  3. TeaCache 时序缓存:复用相邻时间步近似特征,重复计算直接跳过;

  4. QAD 量化感知蒸馏(新版核心):训练全程引入 NVFP4 4bit 量化噪声,让模型原生适配低精度硬件,显存减半、算力提升 2-3 倍。

统一训练生态

支持全参数微调、LoRA 轻量化微调,采用 FSDP2 分片 + 序列并行技术,最多线性扩展至 64 张 GPU;内置选择性激活重计算,大幅降低长视频训练显存开销,配套 60 万 + 自研高清合成视频数据集用于蒸馏训练。

稀疏蒸馏 (Sparse Distillation)

视频 DiT 面临两大瓶颈:多步去噪耗时极长,且长序列注意力计算呈二次方增长。FastVideo 首次提出了稀疏蒸馏技术,将视频稀疏注意力(VSA) 与分布匹配蒸馏(DMD) 在统一框架内联合训练。 其核心思想是:让学生模型(采用稀疏注意力、仅需极少步数)去匹配教师模型(采用全注意力、全步数)的输出分布。通过这种"少步数+稀疏注意力"的联合蒸馏,FastVideo 成功实现了超过 50 倍的去噪加速,同时完美保留了生成质量。

多版本 FastWan 模型矩阵

  • FastWan2.1-1.3B:轻量 480P,H200 约 5 秒、RTX5090 (QAD) 1.8 秒出片;

  • FastWan2.2-5B:720P 高清,适合商业精细画面;

  • FastWan2.1-14B:高画质预览版,适配专业影视级素材生成。

多端兼容部署方案

原生支持 NVIDIA 全系列显卡、Apple Silicon;提供 Python 极简推理 API、ComfyUI 可视化节点、Gradio 在线演示,Windows WSL 环境可一键部署。

三、实验实测效果

  1. 推理提速对比:原生 Wan2.1 14B 基线 1746 秒 / 段,叠加 VSA+DMD + 编译优化后仅 13 秒,提速超 130 倍;

  2. 消费卡性能:RTX5090 运行 FastWan-QAD,5 秒 480P 视频仅 1.8 秒生成,硬件成本大幅下降;

  3. 画质表现:QAD 量化模型无明显闪烁、物体畸变,人物、环境细节保留完整;

  4. 训练效率:64 卡 H200 集群稀疏蒸馏 4k 步即可完成模型收敛,训练成本可控;

  5. 落地适配:短视频带货、虚拟主播、动画分镜等场景均可批量高速生成素材。

相关推荐
吴佳浩11 小时前
《拆解全球最火 AI 开源项目》第一季 · REA
人工智能
AllData公司负责人14 小时前
AI大模型数据开发底座系列说明书,AllData集成Chat2DB开源项目建设AI 数据库分析底座,涵盖AI 洞察/对话SQL/智能视图!
数据库·人工智能·sql·开源·ai 洞察·对话sql
oil欧哟16 小时前
AI Agent 子智能体协作实战:怎样用好 Subagent 分工与省 Token|Oil Book
aigc·ai编程
泯泷16 小时前
让 Agent 分清“马上办、等一等、顺手办”
人工智能·llm·agent
鲜于言悠90517 小时前
Claude Fable 5.2 登场,专治复杂推理与长任务
人工智能
小虎AI生活17 小时前
火柴人skill接入workbuddy实操:5 段提示词产出 3 条 MP4(附 6 组可抄文本)
aigc·ai编程
联犀17 小时前
如何工程化降低语音交互AI设备的延迟(小智ai,芙崽这样的ai设备)
人工智能
杉岩数据18 小时前
杉岩数据董事长陈坚:从数据存储到行业智能——杉岩的AI时代战略布局
人工智能
冬奇Lab18 小时前
Loop 工程到底是高深的新技术,还是炒冷饭?用训练一个识别狗的模型讲明白
人工智能
冬奇Lab18 小时前
一天一个开源项目(第260篇):Plannotator —— 给 AI 编码 Agent 配一块「可批注的审阅台」,计划和代码改动都能在浏览器里逐条批示
人工智能·开源·claude