技术栈
代码实战
爱分享的飘哥
2 天前
人工智能
·
pytorch
·
python
·
aigc
·
教程
·
生成模型
·
代码实战
第三篇：VAE架构详解与PyTorch实现：从零构建AI的“视觉压缩引擎”
在AI生成这条波澜壮阔的技术长河中，如果你想溯源而上，找到那个开启了“高清生成”时代的源头，那么VAE（Variational Autoencoder）无疑是那块最关键的“里程碑”。
鲸可落
10 个月前
语言模型
·
自然语言处理
·
大语言模型
·
教程
·
预训练
·
finetune
·
代码实战
【Finetune】（一）、transformers之BitFit微调
参数微调方法是仅对模型的一小部分的参数（这一小部分可能是模型自身的，也可能是外部引入的）进行训练，便可以为模型带来显著的性能变化，在一些场景下甚至不输于全量微调。 由于训练一小部分参数，极大程度降低了训练大模型的算力需求，不需要多机多卡，单卡就可以完成对一些大模型的训练。不仅如此，少量的训练参数，对存储的要求同样降低很多，大多数的参数微调方法只需要保存训练部分的参数，与动辄几十GB的原始大模型相比，几乎可以忽略。