lora体验

项目链接

GitHub - cloneofsimo/lora: Using Low-rank adaptation to quickly fine-tune diffusion models.

现在如果想体验stable diffusion的lora功能,有很多种渠道吧,虽然lora是微软开源,但是cloneofsimo提供了适配stable diffusion的lora流程。

数据准备

我准备了20张葫芦娃的图片用于微调,没有什么特别操作。

微调

微调耗时很短,10分钟?

Code Review

代码基于cli_lora_pti.py 执行, 针对输入的关键词,我们生成对应的token id. 其实就是建立embedding的映射了。

这里有点不理解的是,initialize_token_ids, place_token_ids的作用不太理解。。。

接下来,进入

复制代码
PivotalTuningDatasetCapation

它的作用就是构建数据集。

接下来,还有inpaint的训练选项,这是一个我很感兴趣的功能。我们可以选择是使用inpainting_dataloader还是text2img_dataloader 加载数据

然后,我们设定require_grad为false。

复制代码
   unet.requires_grad_(False)
    vae.requires_grad_(False)

接下来,我们可以选择是否进行inversion, 如果选择训练inversion,我们会对于text encoder进行训练,

接下来,我们可以选择利用lora进行训练,这里可以选择是否使用extended lora进行训练,

然后,我们可以inspect_lora(什么意思呢?

最后,我们又一次进行tuning,对象为text_encoder和unet。并进行保存!我认为这个代码结构非常的清晰简洁,值得多看!

看什么呢?

有几个问题需要再梳理清楚

  1. initialized_token_id和place holder token id是什么关系

  2. inpaint 的操作如何进行?

  3. inspect lora是什么操作?

  4. inversion的细节

  5. extended lora是什么操作?

  6. unet微调的细节?

  7. vae不需要微调吗?

相关推荐
COOCC11 天前
PyTorch 实战:Transformer 模型搭建全解析
人工智能·pytorch·python·深度学习·神经网络·目标检测·transformer
搬砖的阿wei2 天前
Transformer:引领深度学习新时代的架构
人工智能·深度学习·transformer
知来者逆2 天前
解读大型语言模型:从Transformer架构到模型量化技术
人工智能·深度学习·自然语言处理·transformer·llms
艾醒(AiXing-w)4 天前
探索大语言模型(LLM):Transformer 与 BERT从原理到实践
语言模型·bert·transformer
机器鱼4 天前
Pytorch的极简transformer用于时间序列预测
人工智能·pytorch·transformer
乌旭5 天前
边缘计算场景下的模型轻量化:TensorRT部署YOLOv7的端到端优化指南
人工智能·深度学习·yolo·transformer·边缘计算·gpu算力
__Chuya5 天前
transformer注意力机制
人工智能·深度学习·transformer
机器学习之心5 天前
时序预测 | Transformer-LSTM-SVM时间序列预测(Matlab完整源码和数据,适合基础小白研究)
支持向量机·lstm·transformer·时间序列预测
进取星辰6 天前
PyTorch 深度学习实战(38):注意力机制全面解析(从Seq2Seq到Transformer)
pytorch·深度学习·transformer
mex_wayne8 天前
基础学习:(6)nanoGPT
人工智能·学习·transformer