第030章:ComfyUI视频制作LTX-2.3模型文生视频工作流详解(三)

通过前面的两章学习,我们已经搭建好了LTX-2.3文生视频工作流的"模型加载、分辨率帧率设置、提示词输入、初次缩放1倍采样"四个部分。

本章我们接着前两章的内容,继续完善LTX-2.3文生视频工作流,把最后一部分"二次扩大采样"的部分给他搭建完成。

首先把我们最开始下载的那个LTX官方提供的放大Lora给添加进来,这个放大lora的作用是把图像在潜空间里放大两倍。

有了放大模型,还需要一个放大的节点来和他配合,搜索"LTXVLatentUpsampler"

参数介绍:样本(samples)就链接,我们初次采样出来的视频latent,在放大的过程中同样是需要VAE文件来参加工作的,这里就直接链接 视频VAE文件(如下图)。

视频的潜空间准备好了,还需要把音频的潜空间也拉过来,和前面的初次采样一样再用"LTXVConcatAVLatent"这个组件把音频和视频的潜空间给合并起来。

现在相当于我们已经在潜空间里准备好了一个放大后的带声音的视频图像,剩下的就是在潜空间里再次采样把他采出来。

就相当于我们需要搭建一个视频生视频的工作流,把我们想要的视频给生成出来。

1、模型加载

主模型直接调用前面的主模型就行,这里我们需要再使用两个Lora。

一个"ltx-2.3-22b-distilled-lora-384"这是官方提供的一个蒸馏加速lora作用是提速 + 降噪 + 稳定画面基底,可以把原模型的20步采样降到8步,这个前面我们已经下载过了。

还有一个是"ltx-2-19b-ic-lora-detailer"这个是一个,再不改变原有构图画风与运动流畅度的前提下,增强画面细节的lora,这个咱们前面应该没有下载,直接去魔塔里面搜索这个名字下载就行。

2、采样器构建

模型和放大后的视频音频的材料都准备好了,剩下的就是构建一个采样器把他采出来就OK了。

方法和我们前面的"初次采样"几乎一样,我们可以直接把前面的"种子、cfg、K采样器选择"直接复制过来,注意把CFG的值改为1。

需要变化的是这个调度器,这里我们加了一个"自定义sigmas"。

我们先看里面的值"0.909375, 0.725, 0.421875, 0.0 "一共 4 个数字。就是前面我们在常规调度器里输入固定 4 步采样的意思,4 次降噪迭代完成出图。

序列长度 = 采样总步数;

数值从大到小递减,最后一位必须是0.0(代表完全去除噪声,生成干净图片)

这个组件相比传统的那种调度器组件,有以下几个好处:

①能自己手动控制每一步降噪的力度,自带调度器做不到这么精细;

②少数步数就能出清晰图,渲染更快;

③做视频动画时画面不容易闪、前后画面更统一;

④两段式高清放大采样时,能分开控制构图和细节;

⑤调好一套参数直接复制复用,画面风格每次都一模一样。

最后和前面的初次采样一样,再添加一个"自定义采样(高级)"把线都链接起来就可以了。其中CFG引导器的输入节点,和前面初次采样里面的是一样的。

3、输出视频

剩下的工作就简单了,把采样器采出来的潜空间里的视频,通过vae解码出来就行了。操作和前面的初次采样一模一样,只要把"合并视频"组件里的输出格式改为"mp4"就行了,在初次采样的时候我们输出的是gif图片。

到这里参照官方给文生视频的工作流,我们就算是搭建完成了,大家可以点击运行试试效果了。

4、模型加载优化

在前面加载模型的时候,音频编码器、文本编码器,我们都用的是主模型,其实这两个分别可能只用到主模型里面的一小部分,大概两个多G,我们每次都加载一个二十多G的著模型着实有些浪费。

就有大佬就对模型进行了拆分,我们可以把这个模型加载这块修改一下(如下图)

去魔塔里搜索"LTX23_audio_vae_bf16"和"ltx-2.3_text_projection_bf16"进行下载即可。

下载下来以后LTX23_audio_vae_bf16放在VAE文件夹里,ltx-2.3_text_projection_bf16放在text_encoders文件夹下面。

---------结束线---------

现在我们已经搭建好了 LTX-2.3的文生视频的工作流的,我们花了三章的篇幅去一点点的从0开始搭建了这个工作流,通过这三章的学习相信大家对LTX-2.3模型的运行方式也有了一个相对较深的了解,我们下章再见。

我建了一个群,方便大家在学习的过程中相互交流。有兴趣的朋友可以加一下,平时也会在群里分享一些资料。

如果大家在阅读文章的时候有什么困惑,可以在文章的底部留言,我看到的第一时间就会进行回复。

再一个,也可以在赞赏文章后,针对所赞赏文章的内容,有不明白的地方,可以和我约个时间,进行一对一的实时交流,赞赏金额不限制,多少都可以!

相关推荐
继续商行5 小时前
彻底解决数据库慢查询:深入B+树索引与执行计划优化
人工智能
Shockang10 小时前
AI 编码智能体生产化工程
人工智能
jay神12 小时前
深度学习确定baseline之后怎么做改进?
人工智能·深度学习·yolo·计算机视觉·分类
acrel712 小时前
安科瑞Acrel-1000变电站综合自动化系统在合肥某新材料公司35kV综合自动化项目中的应用分析
大数据·人工智能
UWA12 小时前
隐藏视频变“常驻刺客”,VideoPlayer与“N/A”纹理该怎么查
人工智能·性能优化·音视频·memory·cpu·游戏开发
V哥AI增长12 小时前
小红书笔记在生成式AI引擎中的可见性机制解析:从抓取原理到GEO工程化实践
大数据·人工智能·笔记
ajassi200012 小时前
AI语音智能体开发日记(十二)GX8006 固件定制指南——从双唤醒词到 UART 音频传输
人工智能·ai·ai编程
大模型momo13 小时前
告别单体 Agent:多智能体设计模式(Multi-Agent Patterns)深度实战手册
人工智能·agent·multi-agent·多agent
DisonTangor13 小时前
【SeeDream开源平替】MiniMax H3 重磅开源:全模态视频生成新标杆,2K 画质 + 原生立体声,15 秒大片一键生成!
人工智能·ai作画·开源·aigc·音视频
很楠爱上13 小时前
(附上相关学习资源)适合新手做的第一个agent项目*ovo*Dify Agent 全栈实战:从智能选车顾问到新能源汽车之家的端到端开发
人工智能·汽车·agent·项目·开发笔记