一、灵魂画手风格LoRA模型训练全流程
1.灵魂画手介绍
市场热度：抖音平台上灵魂画手类短视频非常火爆，案例视频获得23万点赞、9.2万转发
风格特征：具有手绘线稿风格，带有类似素描的质感，画面简洁生动
2.灵魂画手训练全流程
1）收集图片素材
素材要求：
成对收集：需要同时截取影视片段原画面和转绘后的灵魂画手风格画面
命名规范：两组图片必须一一对应命名（如001.png对应001.png）
数量建议：案例中使用450组配对图片进行训练
素材处理：
原图组：保持原始影视画面
目标组：去除水印/LOGO后转换为线稿风格
2）LoRA训练大师使用
模型选择
基础模型：选择QwenImageEdit2511作为基础模型
训练类型：根据需求选择特定风格的训练方法（案例选择2511版本）
素材导入
数据集创建：
新建"控制组"存放原图（450张）
新建"目标组"存放转绘效果图（450张）
标签设置：
目标组需统一打标："Remove watermarks, logos and text from the image and convert it into a rough line drawing"
模型配置
训练步数计算：最大训练轮数×素材数量（案例：30轮×100张=3000步）
分辨率设置：建议512×512像素，显存要求适中
过程采样
采样频率：每1轮和每1000步自动采样一次
采样设置：
需要输入完整图片路径（如使用003.png作为采样样本）
使用统一提示词（即打标内容）
显存优化
低显存模式：显存不足时可开启分块处理
优化建议：
调整交换块数（案例设为46）
启用FP8精度加速
训练执行
训练监控：
可实时查看采样结果（案例显示1000步即达到良好拟合）
自动保存按轮次和步数的模型输出
模型保存：训练完成后生成.safetensors格式模型文件
Loss曲线分析
监控指标：通过Loss曲线判断模型收敛情况
优化参考：案例中1000步后Loss值已趋于稳定
3）剪映视频制作
制作步骤：
导出需要转绘的静帧画面
在ComfyUI中使用训练好的LoRA模型处理图片
将转绘效果导回剪映时间线
添加音效、文字和特效
工作流配置：
加载训练好的QwenEdit2511_LHHS_V1模型
输入标准提示词生成转绘效果
4）成片效果展示
风格还原：成功复现抖音热门灵魂画手风格
应用扩展：该方法可适配不同风格的转绘需求
二、知识小结
|-------|-------------|-----------|-----------------------------|----------------|
| 分类 | 核心步骤 | 技术要点 | 工具/参数 | 示例数据 |
| 数据集准备 | 收集原图与转绘风格图 | 建立控制组与目标组 | LoRA训练大师 | 0001.png原图/转绘图 |
| 数据标注 | 统一打标处理 | 标签规范化 | "去除水印+线稿转换" | 批量打标300张 |
| 模型训练 | 配置训练参数 | 显存优化设置 | 分辨率512/Qwen image edit 2511 | 1000步loss值0.12 |
| 效果验证 | 过程采样检查 | Loss曲线监控 | 每1000步采样 | 第3轮采样效果达标 |
| 应用部署 | 模型导入comfyui | 工作流配置 | 剪映+提示词 | 《功勋》转绘案例 |
| 视频合成 | 素材按序编排 | 音画同步 | 字幕/特效添加 | "荷塘月色"背景音乐 |
可点击下方原文链接观看视频教程👇