lora体验

项目链接

GitHub - cloneofsimo/lora: Using Low-rank adaptation to quickly fine-tune diffusion models.

现在如果想体验stable diffusion的lora功能,有很多种渠道吧,虽然lora是微软开源,但是cloneofsimo提供了适配stable diffusion的lora流程。

数据准备

我准备了20张葫芦娃的图片用于微调,没有什么特别操作。

微调

微调耗时很短,10分钟?

Code Review

代码基于cli_lora_pti.py 执行, 针对输入的关键词,我们生成对应的token id. 其实就是建立embedding的映射了。

这里有点不理解的是,initialize_token_ids, place_token_ids的作用不太理解。。。

接下来,进入

复制代码
PivotalTuningDatasetCapation

它的作用就是构建数据集。

接下来,还有inpaint的训练选项,这是一个我很感兴趣的功能。我们可以选择是使用inpainting_dataloader还是text2img_dataloader 加载数据

然后,我们设定require_grad为false。

复制代码
   unet.requires_grad_(False)
    vae.requires_grad_(False)

接下来,我们可以选择是否进行inversion, 如果选择训练inversion,我们会对于text encoder进行训练,

接下来,我们可以选择利用lora进行训练,这里可以选择是否使用extended lora进行训练,

然后,我们可以inspect_lora(什么意思呢?

最后,我们又一次进行tuning,对象为text_encoder和unet。并进行保存!我认为这个代码结构非常的清晰简洁,值得多看!

看什么呢?

有几个问题需要再梳理清楚

  1. initialized_token_id和place holder token id是什么关系

  2. inpaint 的操作如何进行?

  3. inspect lora是什么操作?

  4. inversion的细节

  5. extended lora是什么操作?

  6. unet微调的细节?

  7. vae不需要微调吗?

相关推荐
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
Soari2 天前
大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图
transformer·大语言模型·tsn·rlhf·指令微调
β添砖java3 天前
Transformer大白话学习笔记
笔记·学习·transformer
Eloudy6 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
高洁017 天前
数据同化与动态状态估计:让孪生持续贴合现实
人工智能·python·深度学习·transformer·迁移学习
一起学安全技术10 天前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer
风巽·剑染春水10 天前
【Generative AI综述】生成式人工智能在医学影像中的应用(ACME-2026)
人工智能·transformer·gan·vae·生成模型·扩散模型·医学影像
机器学习之心10 天前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer
bryant_meng11 天前
【TNT】《Transformer in Transformer》
人工智能·深度学习·transformer·word embedding·tnt·sentence embed
布吉岛的石头13 天前
Java 程序员第 50 阶段14:灾难性遗忘与回放
人工智能·深度学习·transformer