大模型微调

微调就是在已经训练好的基座大模型上,用你自己的数据集继续训练,让模型更符合你的特定需求。

有哪几种方式

1.按参数更新规模分类(教它什么?)

  • 全量微调(Full Fine-Tuning,简称FFT)

更新模型所有参数

优点:性能上限最高

缺点:训练成本高,容易过拟合。容易出现灾难性遗忘

  • 参数高效微调(Parameter-Efficient Fine-Tuning,简称PEFT)

只更新/添加极少量参数(通常<1%甚至<0.1%),原始权重大多冻结

优点:训练速度快

缺点:极端情况下性能可能略低于全参数,但实际差距已非常小。

PEFT内部又细分为几种经典技术

    • Adapter Tuning(适配器微调):在Transformer层中插入小型可训练的Adapter模块
    • LoRA及其变体(目前最流行)
      • LoRA(Low-Rank Adaptation):在权重矩阵旁添加低秩矩阵。
      • QLoRA(量化LoRA):结合4bit量化,进一步降低显存(单卡即可微调70B模型)
    • Prompt Tuning :不改动模型内部网络,只在输入的 Prompt 层面加上一些"虚拟的、可被机器训练的 Token"。显存占用极小,但 对复杂任务(如控制机械臂)效果往往不如 LoRA

2.按训练目标 / 数据类型分类(怎么教它?)

  • 监督微调 (Supervised Fine-Tuning, SFT)

使用指令-标签对 数据进行训练

  • 对齐微调 / 偏好训练

让模型输出更符合人类偏好(有用、无害、诚实)

常见方法:

    • RLHF (Reinforcement Learning from Human Feedback,基于人类反馈的强化学习):不直接给标准答案,而让模型自己生成几个答案,然后让人类 或打分模型)来评价"哪个更好",用扣分和加分来引导它。 效果好但流程复杂、不稳定。
    • DPO (Direct Preference Optimization,直接偏好优化) :RLHF 的升级版。RLHF 过程太复杂 (需要同时跑好几个模型),DPO 直接通过数学推导,把"选 A 不选 B"的偏好直接融合到类似 SFT 的训练流程里,大大简化了训练难度。
  1. 其他辅助分类

• 继续预训练(Continued Pre-training):用领域无标签数据继续做下一token预测(类似预训练),常用于领域适应(如金融、医疗),之后再接SFT。

• 部分参数微调(Partial / Layer-wise):只调最后几层或特定层(介于全参数和PEFT之间,早期的做法)。

• 无监督微调:较少见,通常指继续预训练。

相关推荐
智联视频超融合平台9 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟9 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯11 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐11 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777718 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn19 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健19 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道19 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99620 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音