大模型微调学习

  • 用好大模型的层次:1. 提示词工程(prompt engineering); 2. 大模型微调(fine tuning)
  • 为什么要对大模型微调: 1. 大模型预训练成本非常高; 2. 如果prompt engineering的效果达不到要求,企业又有比较好的自有数据,能够通过自由数据,更高的提升大模型在特定领域的能力
  • 大模型微调的两个方案:全量微调(full fine tunning) ; 部分参数微调(parameter - effictient fine tuning)
  • 全量微调的问题:1. 参数量和预训练相同,消耗大量资源; 2. 灾难性遗忘
  • 常见的模型微调路线:1. 监督式微调SFT( Supervised Fine Tuning); 2. 基于人类反馈的强化学习微调RLHF(把人类的反馈通过强化学习的方式,引入到大模型的微调中); 3. 基于AI反馈的强化学习微调RLAIF(人类反馈成本高)

从成本和效果角度考虑:PEFT是目前业界比较流行的微调方案

  1. Prompt Tuning: 在输入序列X之前,增加特定长度的特殊Token,发生在Enbedding环节
  2. Prefix Tuning: 在transformer的encoder和decoder的网络中都加入特定前缀
  3. LoRA
  4. QLoRA 量化的LoRA:量化的核心目标是降低成本,降低训练成本,特别是降低后期的推理成本

Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

比较高效的finetuning方法包括adaptor, prefix-tuning, LoRA

adaptor

prefix-tunning

浅层特征通用性强,深层特征与具体任务的关联性强

finetuning扮演的角色:

  • 拿到新数据集后,想要用预训练模型处理的时候,会首先将最后一层全连接层打开,其余层冻结(transfer learning),看预训练模型在新数据上的效果怎么样,先摸个底,如果效果可以,就考虑打开更多的层,进行fine tuning
  • 如果新的数据集和预训练数据集差别很大,一方面考虑从头训练,另一方面考虑打开更多的层,或干脆用预训练模型的参数作为初始值,对模型进行完整的训练
  1. 模型微调方式
  • 固定一部分模型
  • 固定全部预训练模型,添加可训练head
  • 使用预训练模型推理过程,将数据处理为特征和标签,使用新的特征数据和标签,训练小的head,去进行下游任务(优点:数据特征提取一次可永久使用,特征提取结束后,下游任务和预训练模型无关,除了推理时需要将原有图片处理为特征外)
  1. 模型全调方式
  • 加载预训练模型为模型初始权重,重训练
相关推荐
胖达不服输2 分钟前
「日拱一码」021 机器学习——特征工程
人工智能·python·机器学习·特征工程
Rvelamen4 分钟前
大模型安全风险与防护产品综述 —— 以 Otter LLM Guard 为例
人工智能
MARS_AI_11 分钟前
大语言模型驱动智能语音应答:技术演进与架构革新
人工智能·语言模型·自然语言处理·架构·信息与通信
程序员小灰15 分钟前
AI独角兽团队Manus裁员80人,剩下40人迁至新加坡总部!
人工智能·aigc·agent
新智元27 分钟前
OpenAI去年挖的坑填上了!奖励模型首现Scaling Law,1.8B给70B巨兽上了一课
人工智能·openai
简婷1870199877536 分钟前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源
新智元40 分钟前
Grok 4作战图刷爆全网,80%华人横扫硅谷!清华上交校友领衔,95后站C位
人工智能·openai
小宋00140 分钟前
使用LLaMA-Factory微调Qwen2.5-VL-3B 的目标检测任务-数据集格式转换(voc 转 ShareGPT)
人工智能·目标检测·计算机视觉
小哥谈1 小时前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
mit6.8241 小时前
[Meetily后端框架] AI摘要结构化 | `SummaryResponse`模型 | Pydantic库 | vs marshmallow库
c++·人工智能·后端