LTX2.3 IC-LORA动作迁移,通过depth、POSE、Canny精准控制生成的视频!

一、LTX2.3IC-LORA
1. 工作流介绍

核心功能:通过深度图和姿势(Pose)精确控制视频生成

控制方式:

可提取参考视频的深度图和姿势信息

通过调整参数控制生成视频的动作迁移效果

应用示例:

Lora模型可参考之前发的这个视频:

技术原理:

将参考视频的姿势和深度图提取出来作为控制条件

通过调整两者比重(如各占50%)影响生成效果

深度图不明显时可调整比重参数增强效果

2. 工作流使用方法

基本流程:

上传参考视频

设置视频参数(宽度、高度、时长、帧率)

选择生成模式(文生视频/图生视频)

输入提示词引导内容生成

设置控制视频参数(姿势和深度图比重)

配置音频选项

点击运行生成视频

模式切换:

文生视频:需打开对应开关并输入提示词

图生视频:需上传首帧图并关闭文生视频开关

音频配置:

自动生成:使用LTX2.3内置音频生成

提取参考:直接使用参考视频原声

自定义上传:上传特定音频文件

3. comfyUI搅拌站资源下载

安装步骤:

下载LTX2.3模型和工作流包

将models文件夹覆盖本地ComfyUI/models

安装必要插件(使用ComfyUI管理大师)

重启ComfyUI后导入工作流

插件管理:

通过comfyui管理大师工作流分析功能识别缺失节点

使用自动安装功能批量安装所需插件

常见需要安装的插件:

ControlNet预处理节点

KJNodes工具包

LTX Video专用节点

rgthree组件

二、知识小结

|-------|-----------------|----------------------|----------------|
| 功能模块 | 操作步骤 | 技术要点 | 参数设置 |
| 基础设置 | 上传参考视频 → 设置视频规格 | 支持depth、POSE、Canny控制 | 宽度/高度/时长/帧率 |
| 生成模式 | 文生视频开关控制 | 支持图生视频(需上传首帧图) | 深度图权重调节(默认0.5) |
| 数字人定制 | 加载训练好的LoRA模型 | 需设置触发词(如"韩立数字人") | 提示词引导动作生成 |
| 音频处理 | 自动生成BGM/提取参考音频 | 支持自定义音频上传 | 三种音频模式切换 |
| 控制方式 | 同时启用pose+深度图控制 | 动态调节控制权重 | 需开启对应开关 |

|----|--------|-----------------|----------|
| 步骤 | 操作内容 | 关键文件 | 注意事项 |
| 1 | 下载模型文件 | comfyui_models | 需完整覆盖原目录 |
| 2 | 导入工作流 | .json工作流文件 | 需使用配套纯净包 |
| 3 | 插件补全 | 通过comfyui管理大师分析 | 自动识别缺失节点 |
| 4 | 环境重启 | 无 | 确保所有节点加载 |

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/262/?invite_code=TSH

相关推荐
在所不辞兄12 分钟前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下1 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码1 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下2 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩2 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY2 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang2 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下3 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan3 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界3 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房