LTX2.3 IC-LORA动作迁移,通过depth、POSE、Canny精准控制生成的视频!

一、LTX2.3IC-LORA
1. 工作流介绍

核心功能:通过深度图和姿势(Pose)精确控制视频生成

控制方式:

可提取参考视频的深度图和姿势信息

通过调整参数控制生成视频的动作迁移效果

应用示例:

Lora模型可参考之前发的这个视频:

技术原理:

将参考视频的姿势和深度图提取出来作为控制条件

通过调整两者比重(如各占50%)影响生成效果

深度图不明显时可调整比重参数增强效果

2. 工作流使用方法

基本流程:

上传参考视频

设置视频参数(宽度、高度、时长、帧率)

选择生成模式(文生视频/图生视频)

输入提示词引导内容生成

设置控制视频参数(姿势和深度图比重)

配置音频选项

点击运行生成视频

模式切换:

文生视频:需打开对应开关并输入提示词

图生视频:需上传首帧图并关闭文生视频开关

音频配置:

自动生成:使用LTX2.3内置音频生成

提取参考:直接使用参考视频原声

自定义上传:上传特定音频文件

3. comfyUI搅拌站资源下载

安装步骤:

下载LTX2.3模型和工作流包

将models文件夹覆盖本地ComfyUI/models

安装必要插件(使用ComfyUI管理大师)

重启ComfyUI后导入工作流

插件管理:

通过comfyui管理大师工作流分析功能识别缺失节点

使用自动安装功能批量安装所需插件

常见需要安装的插件:

ControlNet预处理节点

KJNodes工具包

LTX Video专用节点

rgthree组件

二、知识小结

|-------|-----------------|----------------------|----------------|
| 功能模块 | 操作步骤 | 技术要点 | 参数设置 |
| 基础设置 | 上传参考视频 → 设置视频规格 | 支持depth、POSE、Canny控制 | 宽度/高度/时长/帧率 |
| 生成模式 | 文生视频开关控制 | 支持图生视频(需上传首帧图) | 深度图权重调节(默认0.5) |
| 数字人定制 | 加载训练好的LoRA模型 | 需设置触发词(如"韩立数字人") | 提示词引导动作生成 |
| 音频处理 | 自动生成BGM/提取参考音频 | 支持自定义音频上传 | 三种音频模式切换 |
| 控制方式 | 同时启用pose+深度图控制 | 动态调节控制权重 | 需开启对应开关 |

|----|--------|-----------------|----------|
| 步骤 | 操作内容 | 关键文件 | 注意事项 |
| 1 | 下载模型文件 | comfyui_models | 需完整覆盖原目录 |
| 2 | 导入工作流 | .json工作流文件 | 需使用配套纯净包 |
| 3 | 插件补全 | 通过comfyui管理大师分析 | 自动识别缺失节点 |
| 4 | 环境重启 | 无 | 确保所有节点加载 |

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/262/?invite_code=TSH

相关推荐
知识分享小能手7 分钟前
深度学习学习教程,从入门到精通,深度生成模型 —— 知识点详解与代码实现(20)
人工智能·深度学习·学习
hzxxxz18 分钟前
26%的研发交给AI之后-人的位置换到了哪里
人工智能
m0_5873830032 分钟前
深圳24小时自助健身房系统软件开发实战:架构设计与部署指南
人工智能·数据挖掘·系统架构·需求分析
Joy T33 分钟前
Spring AI 2.0 Agent 进阶:Memory、State 与 Context Engineering 常见技术全景
java·人工智能·后端·spring·agent入门·agent state
估值探索者35 分钟前
【Python量化系统工程化 #08】关了 SSH 就停?systemd 让脚本开机自启 + 异常自动拉起
java·c++·人工智能·分类·数据挖掘
西柚研究生12345636 分钟前
论文分析17:YOLOv11_UAVNet:无人机航拍图像专用目标检测算法
人工智能·python·深度学习·算法·目标检测
m4Rk_37 分钟前
【论文阅读】Agent 记忆机制(74):CompassMem——从相似度检索走向事件图上的记忆导航
论文阅读·人工智能·学习·开源·github
镭封41 分钟前
短剧多人对白怎么配?一人完成多角色配音的办法
人工智能·音视频·语音识别·媒体
昇腾知识体系1 小时前
昇腾 torchrec_npu Docker 镜像选择:CANN/PyTorch/torchrec 版本矩阵与启动参数
人工智能·华为·知识图谱