LTX2.3 IC-LORA动作迁移,通过depth、POSE、Canny精准控制生成的视频!

一、LTX2.3IC-LORA
1. 工作流介绍

核心功能:通过深度图和姿势(Pose)精确控制视频生成

控制方式:

可提取参考视频的深度图和姿势信息

通过调整参数控制生成视频的动作迁移效果

应用示例:

Lora模型可参考之前发的这个视频:

技术原理:

将参考视频的姿势和深度图提取出来作为控制条件

通过调整两者比重(如各占50%)影响生成效果

深度图不明显时可调整比重参数增强效果

2. 工作流使用方法

基本流程:

上传参考视频

设置视频参数(宽度、高度、时长、帧率)

选择生成模式(文生视频/图生视频)

输入提示词引导内容生成

设置控制视频参数(姿势和深度图比重)

配置音频选项

点击运行生成视频

模式切换:

文生视频:需打开对应开关并输入提示词

图生视频:需上传首帧图并关闭文生视频开关

音频配置:

自动生成:使用LTX2.3内置音频生成

提取参考:直接使用参考视频原声

自定义上传:上传特定音频文件

3. comfyUI搅拌站资源下载

安装步骤:

下载LTX2.3模型和工作流包

将models文件夹覆盖本地ComfyUI/models

安装必要插件(使用ComfyUI管理大师)

重启ComfyUI后导入工作流

插件管理:

通过comfyui管理大师工作流分析功能识别缺失节点

使用自动安装功能批量安装所需插件

常见需要安装的插件:

ControlNet预处理节点

KJNodes工具包

LTX Video专用节点

rgthree组件

二、知识小结

|-------|-----------------|----------------------|----------------|
| 功能模块 | 操作步骤 | 技术要点 | 参数设置 |
| 基础设置 | 上传参考视频 → 设置视频规格 | 支持depth、POSE、Canny控制 | 宽度/高度/时长/帧率 |
| 生成模式 | 文生视频开关控制 | 支持图生视频(需上传首帧图) | 深度图权重调节(默认0.5) |
| 数字人定制 | 加载训练好的LoRA模型 | 需设置触发词(如"韩立数字人") | 提示词引导动作生成 |
| 音频处理 | 自动生成BGM/提取参考音频 | 支持自定义音频上传 | 三种音频模式切换 |
| 控制方式 | 同时启用pose+深度图控制 | 动态调节控制权重 | 需开启对应开关 |

|----|--------|-----------------|----------|
| 步骤 | 操作内容 | 关键文件 | 注意事项 |
| 1 | 下载模型文件 | comfyui_models | 需完整覆盖原目录 |
| 2 | 导入工作流 | .json工作流文件 | 需使用配套纯净包 |
| 3 | 插件补全 | 通过comfyui管理大师分析 | 自动识别缺失节点 |
| 4 | 环境重启 | 无 | 确保所有节点加载 |

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/262/?invite_code=TSH

相关推荐
小和尚同志7 小时前
1.8k star 的开源 token 使用量监控神器— TokenTracker
人工智能·ai编程
极客 - L U8 小时前
神经网络 - 激活函数、损失函数、优化器
人工智能·深度学习·神经网络
数字融合8 小时前
透明化视频三维矿山井下照明重建技术
人工智能·python·数码相机
yi0118 小时前
LeetCode 219:存在重复元素 II——哈希表记录“最近一次出现的位置”
数据结构·人工智能·笔记·python·算法·leetcode·哈希表
xiangzhihong88 小时前
创之星花店多端业务闭环拆解
人工智能
奈落249 小时前
AI 编程从助手到 Agent:基于两份资料看哪些环节可以交出去,哪些必须自己攥住
大数据·人工智能
Joker可视化开发平台9 小时前
AI短剧接棒真人剧:开机量跌七成,普通人进场窗口在收窄
大数据·人工智能
澳鹏Appen9 小时前
澳鹏电子书 | 强化学习环境:为AI智能体打造高保真训练场
人工智能
吴佳浩9 小时前
单卡5090跑125B 大模型:Strata 把服务器级 MoE 拉进普通 PC
人工智能
Data-Miner9 小时前
AI做表格软件哪个好?专业评测:五维对比看清差距
人工智能