第030章:ComfyUI视频制作LTX-2.3模型文生视频工作流详解(三)

通过前面的两章学习,我们已经搭建好了LTX-2.3文生视频工作流的"模型加载、分辨率帧率设置、提示词输入、初次缩放1倍采样"四个部分。

本章我们接着前两章的内容,继续完善LTX-2.3文生视频工作流,把最后一部分"二次扩大采样"的部分给他搭建完成。

首先把我们最开始下载的那个LTX官方提供的放大Lora给添加进来,这个放大lora的作用是把图像在潜空间里放大两倍。

有了放大模型,还需要一个放大的节点来和他配合,搜索"LTXVLatentUpsampler"

参数介绍:样本(samples)就链接,我们初次采样出来的视频latent,在放大的过程中同样是需要VAE文件来参加工作的,这里就直接链接 视频VAE文件(如下图)。

视频的潜空间准备好了,还需要把音频的潜空间也拉过来,和前面的初次采样一样再用"LTXVConcatAVLatent"这个组件把音频和视频的潜空间给合并起来。

现在相当于我们已经在潜空间里准备好了一个放大后的带声音的视频图像,剩下的就是在潜空间里再次采样把他采出来。

就相当于我们需要搭建一个视频生视频的工作流,把我们想要的视频给生成出来。

1、模型加载

主模型直接调用前面的主模型就行,这里我们需要再使用两个Lora。

一个"ltx-2.3-22b-distilled-lora-384"这是官方提供的一个蒸馏加速lora作用是提速 + 降噪 + 稳定画面基底,可以把原模型的20步采样降到8步,这个前面我们已经下载过了。

还有一个是"ltx-2-19b-ic-lora-detailer"这个是一个,再不改变原有构图画风与运动流畅度的前提下,增强画面细节的lora,这个咱们前面应该没有下载,直接去魔塔里面搜索这个名字下载就行。

2、采样器构建

模型和放大后的视频音频的材料都准备好了,剩下的就是构建一个采样器把他采出来就OK了。

方法和我们前面的"初次采样"几乎一样,我们可以直接把前面的"种子、cfg、K采样器选择"直接复制过来,注意把CFG的值改为1。

需要变化的是这个调度器,这里我们加了一个"自定义sigmas"。

我们先看里面的值"0.909375, 0.725, 0.421875, 0.0 "一共 4 个数字。就是前面我们在常规调度器里输入固定 4 步采样的意思,4 次降噪迭代完成出图。

序列长度 = 采样总步数;

数值从大到小递减,最后一位必须是0.0(代表完全去除噪声,生成干净图片)

这个组件相比传统的那种调度器组件,有以下几个好处:

①能自己手动控制每一步降噪的力度,自带调度器做不到这么精细;

②少数步数就能出清晰图,渲染更快;

③做视频动画时画面不容易闪、前后画面更统一;

④两段式高清放大采样时,能分开控制构图和细节;

⑤调好一套参数直接复制复用,画面风格每次都一模一样。

最后和前面的初次采样一样,再添加一个"自定义采样(高级)"把线都链接起来就可以了。其中CFG引导器的输入节点,和前面初次采样里面的是一样的。

3、输出视频

剩下的工作就简单了,把采样器采出来的潜空间里的视频,通过vae解码出来就行了。操作和前面的初次采样一模一样,只要把"合并视频"组件里的输出格式改为"mp4"就行了,在初次采样的时候我们输出的是gif图片。

到这里参照官方给文生视频的工作流,我们就算是搭建完成了,大家可以点击运行试试效果了。

4、模型加载优化

在前面加载模型的时候,音频编码器、文本编码器,我们都用的是主模型,其实这两个分别可能只用到主模型里面的一小部分,大概两个多G,我们每次都加载一个二十多G的著模型着实有些浪费。

就有大佬就对模型进行了拆分,我们可以把这个模型加载这块修改一下(如下图)

去魔塔里搜索"LTX23_audio_vae_bf16"和"ltx-2.3_text_projection_bf16"进行下载即可。

下载下来以后LTX23_audio_vae_bf16放在VAE文件夹里,ltx-2.3_text_projection_bf16放在text_encoders文件夹下面。

---------结束线---------

现在我们已经搭建好了 LTX-2.3的文生视频的工作流的,我们花了三章的篇幅去一点点的从0开始搭建了这个工作流,通过这三章的学习相信大家对LTX-2.3模型的运行方式也有了一个相对较深的了解,我们下章再见。

我建了一个群,方便大家在学习的过程中相互交流。有兴趣的朋友可以加一下,平时也会在群里分享一些资料。

如果大家在阅读文章的时候有什么困惑,可以在文章的底部留言,我看到的第一时间就会进行回复。

再一个,也可以在赞赏文章后,针对所赞赏文章的内容,有不明白的地方,可以和我约个时间,进行一对一的实时交流,赞赏金额不限制,多少都可以!

相关推荐
苦猿的大模型日记1 小时前
Day25 | 模型量化横评 GPTQ vs AWQ vs GGUF vs INT8——同一个 Qwen3-8B 压四遍,谁还活着
人工智能
benchmark_cc2 小时前
如何用 Python + QuantDash 快速构建高胜率“配对交易(Pairs Trading)”策略?
开发语言·人工智能·python·pandas·量化交易·quantdash
深海鱼肝油ya2 小时前
小说自动生成系统(二)
人工智能·大模型·agent·智能体·自动化编程·小说生成系统
通问AI2 小时前
Apple Intelligence 国行备案深度技术解析:阿里千问如何被集成到苹果端侧AI架构
人工智能·架构
视***间2 小时前
算力赋能零售与创意新生态:视程空间Pandora,解锁线下场景智能化无限可能
人工智能·边缘计算·智慧零售·ai算力·视程空间·创意开发
冬奇Lab2 小时前
MCP 系列(08):企业治理——Registry、路由与可观测性
人工智能·llm·mcp
冬奇Lab2 小时前
每日一个开源项目(第161篇):Open Interpreter - 开源 AI 编程 Agent,用 Rust 重写,支持 Kimi、Qwen、DeepSeek
人工智能·开源·资讯
renhongxia13 小时前
世界模型,是“空中楼阁”还是AGI的“最后一块拼图”?
运维·服务器·数据库·人工智能·算法·agi
天上路人3 小时前
AU-48双麦多功能语音处理模组:100dB AEC + 波束定向拾音,会议与监控全场景覆盖
人工智能·ai降噪·语音处理·ai语音·麦克风·回音消除