大模型微调技术 --> 脉络

Step1:脉络

微调技术从最早期的全模型微调演变成如今的各种参数高效微调(PEFT)方法,背后是为了应对大模型中的计算、存储和数据适应性的挑战

1.为什么有微调?

深度学习模型越来越大,尤其是 NLP 中的预训练语言模型(BERT, GPT)系列。如果从零开始训练,既耗时又昂贵。

所以人们开始转向 预训练-微调 范式,在大规模无监督语料库上进行模型的预训练,然后在特定任务上微调模型。

核心需求:

  • 减少从零开始训练的计算成本和时间
  • 利用已经学到的通用语言知识,通过小规模的任务特定数据快速适配模型

2.脉络

1. 微调技术时间线

全量微调(2018, BERT Google 提出) → Adapter 微调(2019, Houlsby et al 提出) → P-Tuning(2021, 清华大学) → LoRA(2021, 微软研究院) → Prefix-Tuning(2021, Li et al 提出) → IA³ (2022, 微软 和 HuggingFace 提出)

2.LoRA 的脉络

  1. LoRA(2021)
    • 解决:通过低秩分解,只微调少量参数,大幅减少计算和存储成本,尤其适合大模型生成任务
    • 不足:固定秩的设计限制了在复杂多任务或多层次任务中的表现力
  2. QLoRA(2023)
    • 解决:虽然 LoRA 减少了参数量,但是显存占用依旧较高。QLoRA 通过 4bit 量化,降低了显存需求
    • 不足:量化带来了一定的性能损失,特别是在精度要求极高的任务上
  3. LoHA(2022)
    • 解决:LoRA 固定秩的方式难以应对多任务学习或复杂层次结构的需求。LoHA 通过层次化的低秩分解,适应不同层次的任务需求。这样增强了多任务和复杂上下文中的适应性。
    • 不足:增加了计算复杂度,设计相对复杂
  4. LoKr(2023)
    • 解决:LoRA 适用于线性任务,处理非线性特征时表现不足。LoKr 结合了核方法,使模型能够更好的捕捉复杂的非线性关系。提高了模型在非线性特征场景中的表现,如高级 NLP 和 CV 任务中
    • 不足:引入了额外的计算成本和复杂性
  5. AdaLoRA(2023)
    • 解决:LoRA 固定秩限制了模型对不同层的适应能力。AdaLoRA 通过动态调整每一层的秩,减少了不必要的计算,提高了关键层的标下能力,在资源有限的环境下表现优异
    • 不足:引入了更高的实现复杂度和超参数调整要求
  6. Delta-LoRA 和 Prefix Tuning(2021-2022)
    • 解决:LoRA 在生成任务的上下文适应性不足。Delta-LoRA 和 Prefix-Tuning 通过引入前缀或序列信息的适应,曾庆了对上下文的捕捉能力,提升了生成任务(对话、故事生成)中的质量
    • 不足:推理时成本增加

7.总结

  • LoRA 的初衷是为了解决大规模模型微调中的高计算和显存开销问题。
  • QLoRA 进一步通过量化解决了显存占用问题,使得大模型能够在低资源设备上运行。
  • LoHALoKr 针对复杂任务和非线性特征的学习需求进行了扩展,增强了模型的适应性。
  • AdaLoRA 通过自适应调整秩大小,优化了层次间的资源分配,进一步提高了效率和灵活性。
  • Delta-LoRA 和 Prefix Tuning 则主要提升了生成任务的上下文捕捉能力。
相关推荐
2023数学建模国赛比赛资料分享1 分钟前
2024亚太杯国际赛C题宠物预测1234问完整解题思路代码+成品参考文章
人工智能·数学建模·宠物·2024亚太杯国际赛数学建模·2024亚太杯国际赛a题·2024亚太杯国际赛数模abc·2024亚太杯数学建模
思通数科AI全行业智能NLP系统10 分钟前
六大核心应用场景,解锁AI检测系统的智能安全之道
图像处理·人工智能·深度学习·安全·目标检测·计算机视觉·知识图谱
做程序员的第一天1 小时前
在PyTorch中,钩子(hook)是什么?在神经网络中扮演什么角色?
pytorch·python·深度学习
程序员小范1 小时前
孙玲:从流水线工人到谷歌程序员
人工智能·程序员·谷歌·远程工作
醉酒柴柴1 小时前
【代码pycharm】动手学深度学习v2-07 自动求导
ide·深度学习·pycharm
风走茶未凉1 小时前
转置卷积与全卷积网络FCN在语义分割中的应用
网络·深度学习·cnn
命里有定数1 小时前
Paper -- 洪水深度估计 -- 利用图像处理和深度神经网络绘制街道照片中的洪水深度图
图像处理·人工智能·dnn·洪水深度·高度估计
Guofu_Liao2 小时前
大语言模型中Softmax函数的计算过程及其参数描述
人工智能·语言模型·自然语言处理
非自律懒癌患者2 小时前
Transformer中的Self-Attention机制如何自然地适应于目标检测任务
人工智能·算法·目标检测
IT闫2 小时前
使用微信小程序调用飞桨PaddleX平台自行训练的模型——微信小程序用训练的牡丹花模型Demo测试
人工智能·paddlepaddle