高效微调方法简述

高效微调简述

一、微调与RAG的区别:

针对成本和性价比选择RAG或微调,那他们适用的范围和区别要提前了解;

形象的描述预训练、微调、提示工程、Agents:

微调流程:

数据保密那就是私域微调,否则就可以线上微调

二、Frozen Fine-tuning(冻结微调)

只更新模型的输出层或顶层权重,其他层权重冻结也叫顶层微调

三、Layer-wise-Fine-tuning(逐层微调)

更新顶层权重后逐层解冻调整下一层,效果好但算法复杂

四、Dyamic Fine-tuning (动态微调)

在微调过程中动态调整lr、batchsize等超参,优化模型性能,效果好操作难度大

五、提示词微调方向:

专注于优化模型的输入提示词,而非直接调整模型结构,通过改进输入提升输出质量,追求更通用方案;

5.1 Prefix-tining(前缀微调)

模型权重冻结,在每一层加一个神经网络引导这一层对特定任务进行指导性输出和权重倾斜计算;

eg:要求模型生成一个描述图片的句子,给输入增加一个前缀向量"比如这是一辆家用小轿车",那么引导模型生成前缀向量方向的图片描述;

5.2 Prompt tuning(提示微调)

设计优化输入提示引导模型生成方向,只在输入层增加embedding前缀,使用固定一种或多种提示词;当用户输入其中一种完成相同的提示词,会让模型输出的效果更稳定;

5.3 P-tuning:

采用"连续提示embedding+离散提示"组合,比如加上"这是一辆车,车包括轮子、座位发动机等";

在大模型效果很好,但在参数量小的模型效果差;

5.4 P-tuning v2:

在所有transformer层进行向量化嵌入,针对初始化策略进行优化,减少对初始化权重输出比重,方便进行自我调整;

六、外部引入方向:
6.1 Adapter Tuning(适配器微调)

定义:通过在预训练模型中各层插入适配器模块(Adapters)实现对特定任务适应,不更新模型权重

how:每个模型少量参数,低维-高维互相映射,使得模型更高效处理数据;包含残差结构保证原始输入信息不受损失; Adapter可以大模型不同层插入多个实例,针对不同场景进行微调,实现模型灵活适应性和多功能性;

6.2 Low-Rank Adaptation(低秩矩阵微调Lora)

LoRA的核心思想是将预训练模型的权重矩阵分解成两个低秩矩阵的乘积。通过冻结原矩阵+两个低秩矩阵乘积来适应新任务;

LoRA的核心思想是将预训练模型的权重矩阵分解成两个低秩矩阵的乘积。通过冻结原矩阵+两个低秩矩阵乘积来适应新任务;

相关推荐
胡耀超6 天前
AI:大语言模型微调的真相:打破迷思,理性选择
python·ai·大模型·llm·微调·提示词·大模型应用指南
一条测试老狗10 天前
从GPT-5发布来分析LLM大模型幻觉收敛(一)
gpt·微调·rag·幻觉·icl·gpt-5·垂直领域模型
迪菲赫尔曼12 天前
大模型入门实战 | 基于 YOLO 数据集微调 Qwen2.5-VL-3B-Instruct 的目标检测任务
人工智能·yolo·目标检测·大模型·微调·新手入门·qwen2.5
居7然15 天前
大模型微调面试题全解析:从概念到实战
人工智能·微调
大千AI助手1 个月前
RAGFoundry:面向检索增强生成的模块化增强框架
人工智能·大模型·llm·微调·rag·检索·ragfoundry
爱分享的飘哥1 个月前
第五十五章:AI模型的“专属定制”:LoRA微调原理与高效合并技巧
人工智能·lora·微调·ai训练·peft·代码实战·模型定制
大千AI助手1 个月前
FLAN-T5:大规模指令微调的统一语言模型框架
人工智能·神经网络·语言模型·自然语言处理·微调·t5·finetune
华尔街的幻觉1 个月前
Datawhale AI夏令营——列车信息智能问答——科大讯飞AI大赛(基于结构化数据的用户意图理解和知识问答挑战赛)
微调·datawhale
AI4Sci.1 个月前
在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)
人工智能·算法·机器学习·大模型·lora微调·大模型本地部署·qwen2.5-vl-7b
仅此,2 个月前
魔搭官方教程【快速开始】-swift 微调报错:`if v not in ALL_PARALLEL_STYLES`
大模型·微调·魔搭·ms-swift