第027章:ComfyUI视频制作LTX-2.3模型(文生视频)

通过前面的文章,我们已经可以通过Z-Image去生成模特图片、通过Qwen3-TTS和Index-TTS2去设计模特音色并生成相应的音频。

现在人物有了、声音也就有了,就差让人物开口讲话,生成视频了。

从今天开始我们将学习一个新的视频模型LTX2.3。

LTX-2.3 是以色列 AI 公司 Lightricks 于 2026 年 3 月发布的开源生产级多模态视频大模型,全称 LTX 2.3 Text-to-Video,是目前综合能力最强的本地可部署开源视频模型之一,在流畅动态、音画同步、细节质感上有明显优势。

可以实现:文生视频、图生视频、音频生视频、参考图 / 参考视频续片。

我们先从最简单的文生视频开始,LTX-2.3模型文生视频支持一次最长20s的视频生成,不过我不建议你一次生成太长,一是太长了容易崩,二是一次生成太长我们普通的显卡也有点扛不住。建议每次生成长度不要超过5s,后期再自己拼接一下。

做视频的话有一个基础知识,是我们必须要理解的,就是"帧率(Frames Per Second)"。

帧率指的是每秒画面帧数,1帧就是1张图片,1 秒的视频里,包含多少张静态图片,数值就是多少帧率。

一个5s时长帧率25FPS的视频,总帧数就是5*25=125FPS。

一般有一下几种帧率设置:

(1)24 FPS(电影标准)适合文艺宣传片、门店慢镜头、产品介绍等。

(2)25 FPS(国内短视频 / 电视标准,LTX2.3 短片段首选)国内抖音、视频号等常用帧率,一般情况我们都用这个帧率。

(3)30 FPS(一般手机实拍标准)画面顺滑度更高,细微运动(茶水蒸汽、飘动窗帘)过渡更细腻,同等时长下总帧数变多,渲染时间更长、显存占用更高。

(4)48/50/60 FPS(高帧率)极致顺滑,适合快速运镜、人物走动,打斗场面等。

帧数越多,AI 计算量越大,生成等待时间越长,对显卡的要求越高!对于我的5060Ti-16G显卡来说,30帧就有些吃力了,基本就是能够到的极限了,再高基本就跑不了了!

下来我们正式开始,LTX2.3视频模型的本地部署,和基础文生视频工作流的搭建。

第一步:启动我们的ComfyUI,如下图所示点击工作台左侧的"模板",这里面有很多ComfyUI官方提供的一些基础工作流。

我们在模板库里搜索"LTX2.3",可以看到里面有"文生视频、图生视频、图像音频转视频"的工作流,今天我们先看"LTX-2.3:文生视频"的工作流。

直接点击"LTX-2.3:文生视频",就会把这个工作流加入到我们的工作台里,可以看到这个工作流特别的简单,总共由三部分。

从左往右分别是:

(1)工作流的一个介绍,里面有模型文件的下载地址,以及在ComfyUI中应该存放的的位置信息。不多大家要注意,这里面给的模型文件的下载地址是Huggingface的地址,我们国内是没有办法直接访问的。

(2)Text to Video (LTX-2.3)组件,这是第三方封装好的LTX2.3 一键文生视频整合节点,把模型加载、文本编码、视频采样、空间超分打包成单节点,不用手动拼接多个原生 LTX 节点,新手直接填参数就能出片。

里面用到了4个加载模型文件的参数,从上到下分别是:

①ckpt_name:这是LTX的主视频模型,fp8 量化版本,显存友好,16G 显存即可运行;完整 FP16 原版需要 24G 以上显存。

②distilled_lora:这是LTX官方提供的蒸馏运动 LoRA,核心作用:提升画面自然动态、减少画面闪烁、抑制物体变形;384 代表适配 384 帧以内短视频

③text_encoder:这就是前面几张我们用的文本编码文件(clip),Ltx用的这个Gemma3 12B文本编码器,是可以支持中文的,输入中文不会报错、能正常跑通生成。但是不建议直接用中文,最好是翻译成英文再输入。

④latent_upscale_model:这里是LTX官方提供的2倍放大模型模型,版本 1.1比老的1.0版本好很多;这个节点的作用是先生成低分辨率潜像,再用该模型放大 2 倍输出高清视频。 比如:我们给的分辨率是 1280x720,模型实际先生成 640x360的低分辨率视频,再放大到目标尺寸,大幅降低生成时显存占用,同时提升画面锐度、纹理细节。

第二步:模型下载,他的官方介绍里给的下载地址都是国外的HuggingFace的地址,正常情况下我们是无法直接访问的,我们需要去国内的魔塔社区里面去下载这些模型文件。

(1)再魔塔里搜索"LTX-2.3",如下图:

这里面我们只下载一个Lora文件"ltx-2.3-22b-distilled-lora-384.safetensors"和一个放大模型文件"ltx-2.3-spatial-upscaler-x2-1.1.safetensors"。

这里面的主模是官方原版的,我的16G显存是跑不动的,24G以上显存的显卡可以尝试一下。

(2)我们16G的显卡,LTX主模型搜索"LTX-2.3-fp8",如下图:

把下图标出的两个都下来,第二个distilled的文件后面会用到。

(3)文本编码文件搜索"gemma_3_12B_it_fp8"。

第三步:模型文件部署,把下载好的文件分别复制到下面的文件夹里,从上到下依次是:

(1)latent_upscale_model文件夹放入"ltx-2.3-spatial-upscaler-x2-1.1.safetensors"。

(2)loras文件夹放入"ltx-2.3-22b-distilled-lora-384.safetensors"。

(3)text_encoders文件夹放入"gemma_3_12B_it_fp8_scaled.safetensors"。

(4)checkpoints文件夹放入主模型(如下图),大家可以看到,我多下载了一个nvfp4的版本,这个版本是50系显卡的专用模型文件,都说效果只比fp8的版本差一丢丢,单速度提升了很多。不过我自己是下来,速度的确提升了很多,单效果差很多,也可能是我还不会用,就先放着。

第四步:重新启动ComfyUI,如果你向我一样,在复制文件的时候由套了一层文件夹,那么你进到工作流以后就需要把4个文件的路径分别重新选择一下。

到此LTX-2.3文生视频的工作流就搭好了,可以开始尝试了。

如果你也是跟我一样用的50系列的显卡,想尝试一下nvfp4版本的模型文件,那下载后直接在组件里切换就行了,剩下的都不用动(如下图)。

下面是我生成的视频,大家可以看到nvfp4版本的模型文件确实是快,基本都是150s左右。而普通的fp8版本基本都在210s左右,不过你自己试一下看看效果就知道了,效果差的有点多。

---------结束线---------

至此我们的LTX-2.3模型的部署,以及文生视频的工作流搭建就完成了,下一章开始我们就去实现图生视频的工作流搭建。

我建了一个群,方便大家在学习的过程中相互交流。有兴趣的朋友可以加一下,平时也会在群里分享一些资料。

如果大家在阅读文章的时候有什么困惑,可以在文章的底部留言,我看到的第一时间就会进行回复。

再一个也可以在赞赏文章后,针对所赞赏文章的内容,有不明白的地方,可以和我约个时间,进行一对一的实时交流,赞赏金额不限制,多少都可以!

相关推荐
程序员海军16 小时前
AI 越来越强,为什么打工人反而越来越累、越来越内耗了?
前端·程序员·aigc
世岩清上16 小时前
展厅数字内容同质化严重,怎样打造专属叙事风格?
大数据·前端·javascript·人工智能·html·音视频·展厅改造
山间小僧17 小时前
「AI学习笔记」Agent Memory(一)会话内记忆
aigc·agent·vibecoding
LCG元17 小时前
STM32F407 I2S驱动WM8978音频播放实战:PLLI2S时钟整定、DMA双缓冲防爆音与WAV采样率实测
stm32·嵌入式硬件·音视频
jbk331117 小时前
PixiuCut「视频批量分割」支持智能镜头分割、按时长、按数量分割,可定义最小时长避免无效片段等多可选参数可设置
人工智能·音视频·剪辑软件·剪映自动化软件
投票竞赛18 小时前
作品投票版权注意事项,线上评选上传图片视频须知
python·音视频
“AI国潮设计-小江”18 小时前
【Python/SDXL实战】潮汕国潮IP视觉落地:普宁英歌舞猫IP & 创意甜品设计(附ComfyUI工作流与商业授权说明)
开发语言·人工智能·python·prompt·aigc
Rocky Ding*20 小时前
一文读懂LLM Agent Skills 的运行时本质:从能力路由到渐进式披露
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·agent skills
Xu_youyaxianshen20 小时前
【OpenAI 昨天正式更新了 ChatGPT Images 2.5。】
chatgpt·aigc
feiyu_gao20 小时前
Cocreation Framework:一套给所有人的 AI 协作思考系统
设计模式·aigc·ai编程