LTX2.3 IC-LORA动作迁移,通过depth、POSE、Canny精准控制生成的视频!

一、LTX2.3IC-LORA
1. 工作流介绍

核心功能:通过深度图和姿势(Pose)精确控制视频生成

控制方式:

可提取参考视频的深度图和姿势信息

通过调整参数控制生成视频的动作迁移效果

应用示例:

Lora模型可参考之前发的这个视频:

技术原理:

将参考视频的姿势和深度图提取出来作为控制条件

通过调整两者比重(如各占50%)影响生成效果

深度图不明显时可调整比重参数增强效果

2. 工作流使用方法

基本流程:

上传参考视频

设置视频参数(宽度、高度、时长、帧率)

选择生成模式(文生视频/图生视频)

输入提示词引导内容生成

设置控制视频参数(姿势和深度图比重)

配置音频选项

点击运行生成视频

模式切换:

文生视频:需打开对应开关并输入提示词

图生视频:需上传首帧图并关闭文生视频开关

音频配置:

自动生成:使用LTX2.3内置音频生成

提取参考:直接使用参考视频原声

自定义上传:上传特定音频文件

3. comfyUI搅拌站资源下载

安装步骤:

下载LTX2.3模型和工作流包

将models文件夹覆盖本地ComfyUI/models

安装必要插件(使用ComfyUI管理大师)

重启ComfyUI后导入工作流

插件管理:

通过comfyui管理大师工作流分析功能识别缺失节点

使用自动安装功能批量安装所需插件

常见需要安装的插件:

ControlNet预处理节点

KJNodes工具包

LTX Video专用节点

rgthree组件

二、知识小结

|-------|-----------------|----------------------|----------------|
| 功能模块 | 操作步骤 | 技术要点 | 参数设置 |
| 基础设置 | 上传参考视频 → 设置视频规格 | 支持depth、POSE、Canny控制 | 宽度/高度/时长/帧率 |
| 生成模式 | 文生视频开关控制 | 支持图生视频(需上传首帧图) | 深度图权重调节(默认0.5) |
| 数字人定制 | 加载训练好的LoRA模型 | 需设置触发词(如"韩立数字人") | 提示词引导动作生成 |
| 音频处理 | 自动生成BGM/提取参考音频 | 支持自定义音频上传 | 三种音频模式切换 |
| 控制方式 | 同时启用pose+深度图控制 | 动态调节控制权重 | 需开启对应开关 |

|----|--------|-----------------|----------|
| 步骤 | 操作内容 | 关键文件 | 注意事项 |
| 1 | 下载模型文件 | comfyui_models | 需完整覆盖原目录 |
| 2 | 导入工作流 | .json工作流文件 | 需使用配套纯净包 |
| 3 | 插件补全 | 通过comfyui管理大师分析 | 自动识别缺失节点 |
| 4 | 环境重启 | 无 | 确保所有节点加载 |

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/262/?invite_code=TSH

相关推荐
Resistance丶未来21 小时前
管控用量,降本增效,MAI Gateway:助力企业搭建 Tokens 统一管理体系
人工智能·大模型·api·claude·ai安全·魔芋ai·maigateway
GIS数据转换器21 小时前
无人机车载巡检系统
大数据·数据库·人工智能·数据挖掘·数据分析·无人机
逸模1 天前
告别熬夜手工整理台账,逸模智能归集实现项目数据自动化存档
大数据·运维·人工智能·笔记·其他·信息可视化·自动化
weixin_397574091 天前
生产管理和设备管理:制造执行层的AI痛点
人工智能·制造
冬奇Lab1 天前
Agent 系列(16):工具链设计——让 LLM 用对工具的五个原则
人工智能·llm·agent
冬奇Lab1 天前
每日一个开源项目(第125篇):taste-skill - 给 AI 装上审美,让前端不再千篇一律
人工智能·开源·agent
Ajie'Blog1 天前
Copilot Agent Tasks API 开放:AI 编程开始进入后台任务时代
服务器·前端·javascript·人工智能·copilot·ai编程
SEONIB_Explorer1 天前
AI SEO 与传统SEO成本对比:哪种更划算?
人工智能
一次旅行1 天前
AI领域每日资讯报告
人工智能