LTX2.3 IC-LORA动作迁移,通过depth、POSE、Canny精准控制生成的视频!

一、LTX2.3IC-LORA
1. 工作流介绍

核心功能:通过深度图和姿势(Pose)精确控制视频生成

控制方式:

可提取参考视频的深度图和姿势信息

通过调整参数控制生成视频的动作迁移效果

应用示例:

Lora模型可参考之前发的这个视频:

技术原理:

将参考视频的姿势和深度图提取出来作为控制条件

通过调整两者比重(如各占50%)影响生成效果

深度图不明显时可调整比重参数增强效果

2. 工作流使用方法

基本流程:

上传参考视频

设置视频参数(宽度、高度、时长、帧率)

选择生成模式(文生视频/图生视频)

输入提示词引导内容生成

设置控制视频参数(姿势和深度图比重)

配置音频选项

点击运行生成视频

模式切换:

文生视频:需打开对应开关并输入提示词

图生视频:需上传首帧图并关闭文生视频开关

音频配置:

自动生成:使用LTX2.3内置音频生成

提取参考:直接使用参考视频原声

自定义上传:上传特定音频文件

3. comfyUI搅拌站资源下载

安装步骤:

下载LTX2.3模型和工作流包

将models文件夹覆盖本地ComfyUI/models

安装必要插件(使用ComfyUI管理大师)

重启ComfyUI后导入工作流

插件管理:

通过comfyui管理大师工作流分析功能识别缺失节点

使用自动安装功能批量安装所需插件

常见需要安装的插件:

ControlNet预处理节点

KJNodes工具包

LTX Video专用节点

rgthree组件

二、知识小结

|-------|-----------------|----------------------|----------------|
| 功能模块 | 操作步骤 | 技术要点 | 参数设置 |
| 基础设置 | 上传参考视频 → 设置视频规格 | 支持depth、POSE、Canny控制 | 宽度/高度/时长/帧率 |
| 生成模式 | 文生视频开关控制 | 支持图生视频(需上传首帧图) | 深度图权重调节(默认0.5) |
| 数字人定制 | 加载训练好的LoRA模型 | 需设置触发词(如"韩立数字人") | 提示词引导动作生成 |
| 音频处理 | 自动生成BGM/提取参考音频 | 支持自定义音频上传 | 三种音频模式切换 |
| 控制方式 | 同时启用pose+深度图控制 | 动态调节控制权重 | 需开启对应开关 |

|----|--------|-----------------|----------|
| 步骤 | 操作内容 | 关键文件 | 注意事项 |
| 1 | 下载模型文件 | comfyui_models | 需完整覆盖原目录 |
| 2 | 导入工作流 | .json工作流文件 | 需使用配套纯净包 |
| 3 | 插件补全 | 通过comfyui管理大师分析 | 自动识别缺失节点 |
| 4 | 环境重启 | 无 | 确保所有节点加载 |

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/262/?invite_code=TSH

相关推荐
新知图书14 分钟前
16.3 基于MCP的多Agent旅行规划助手项目结构
人工智能·agent·ai agent·智能体
龍德明宇22 分钟前
专栏导读:关注龍德明宇,读点AI哲学
人工智能·大语言模型llm·负主体性·ai存在论
2601_9669496524 分钟前
实时行情中的成交量 Volume 到底是什么?包含盘中撤单量吗?从交易数据语义到 QuantDash 实战解析
开发语言·人工智能·python·量化·quantdash·量化数据源
lilian23326 分钟前
HarmonyOS 7 新特性(十)|DevEco Code 与 DevEco CLI AI 开发提效
人工智能·华为·harmonyos
muddjsv27 分钟前
AI 编程时代,人的角色是什么?
人工智能
小小程序猴130 分钟前
2026 企业如何借助 AI 培训实现降本增效与业绩增长?实用指南(工程视角)
人工智能
2601_9672642833 分钟前
极客时间 AI Agent 全栈工程师训练营,全套学习资源齐全
人工智能·学习
薛定e的猫咪37 分钟前
(NeurIPS 2022)GraphGPS:MPNN 与全局注意力的融合之道
人工智能·深度学习·学习·算法
LabVIEW开发38 分钟前
把量子纠缠实验搬进屏幕:用 LabVIEW 仿真双光子量子态层析
人工智能·labview·labview知识·labview功能·labview程序
2501_9318197044 分钟前
长沙话标注公司语料数据迭代更新周期过长痛点 信实翻译定期迭代机制实际价值剖析
人工智能·语音识别