代码:https://github.com/Lightricks/LTX-Video
comfyui官方工作流:https://comfyanonymous.github.io/ComfyUI_examples/ltxv/
官方模型:https://huggingface.co/Lightricks/LTX-Video
工作流下载:https://pan.baidu.com/s/1g9Yx78ddwcTt2tNvLihk6g?pwd=1212
工作流:
简介
来自 Lightricks
的开创性视频生成模型LTX Video (LTXV)。LTXV是一个仅有20亿参数 (2B)的基于DiT架构
的视频生成模型,能够实时生成高质量视频。它以768x512的分辨率,每秒24帧的速度生成视频,最多生成4秒,支持文生图,图生图。
另外,LTX Video 基于开发人员的反馈和真实世界用例构建,可以提供自然逼真的结果。该模型做了高级定制化设计,可以流畅地集成各种外部工具,从而轻松地增强工作流。
在生成过程中,LTX Video 最大程度减少了闪烁和伪影,创建出具有出色细节和清晰度的高保真视频。每一帧都在精心制作下呈现清晰锐利、栩栩如生,符合用户的视觉效果。
最后,LTX Video 实现了无缝的跨帧一致性,从角色到环境,可以保持连贯的视觉效果,将每个细节整合在一起。
代码实现基础
- DiT and PixArt-alpha: vision transformers for image generation.
扩展阅读
机器之心 :RTX 4090可跑、完全开源,最快视频生成模型问世,实测一言难尽
小小将 :实时视频生成模型LTXV来了:生成5s时长的768x512视频只要4s!
破狼:超高效视频模型!仅需4秒生成5秒24帧高质量视频,运动一致性且消除物体变形
模型国内镜像下载
bash
export HF_ENDPOINT=https://hf-mirror.com # linux
# $env:HF_ENDPOINT = "https://hf-mirror.com" # windows
huggingface-cli download --resume-download Lightricks/LTX-Video --local-dir ./models/checkpoints