高效微调理解(prompt-tuning,p-tuning v1,p-tuning v2,lora)

高效微调(prompt-tuning,p-tuning v1,p-tuning v2,lora)

1.prompt-tuning:

例子理解;保持原本模型参数不变,通过训练提示词的参数调整prompt,使其与下游任务匹配。

例子:

2.p-tuning:

与prompt-tuning不同的是, prompt 不再是固定的文本,而是通过可学习的向量来表示

例子:

3.p-tuning v2:

与p-tuning不同的是v2在每一层(encoder / decoder)都加入[learned prefix]。

4.lora:

Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵,也就是在原始PLM旁边增加一个旁路,做一个降维再升维的操作。并在模型训练过程中,固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的参数叠加。用随机高斯分布初始化A,用0矩阵初始化B。

结构图:

相关推荐
EdmundXjs12 小时前
大模型核心概念解读
人工智能·算法
最贪吃的虎12 小时前
DeerFlow 记忆系统:让 AI Agent 真正“认识“你
人工智能
prog_610312 小时前
【笔记】用cursor手搓cursor(六)deepseek v4
人工智能·笔记·agent·deepseek·claude code
Loo国昌12 小时前
从 Agent 编排到 Skill Runtime:企业 AI 工程化的下一层抽象
大数据·人工智能·后端·python·自然语言处理
凌波粒12 小时前
深度学习入门(鱼书)第2章笔记——感知机
人工智能·笔记·深度学习
松☆12 小时前
ascend-transformer-boost:Transformer加速库架构原理剖析
深度学习·架构·transformer
南屹川12 小时前
【Python进阶】Python元类编程深度解析
人工智能
人工智能培训12 小时前
中国人工智能培训网—AI系列录播课
大数据·人工智能·机器学习·计算机视觉·知识图谱
liuyunshengsir12 小时前
PyTorch 最小模型转 ONNX 完整样例
人工智能·pytorch·python
_oP_i12 小时前
FFmpeg 如何与ai结合剪辑出效果好的视频
人工智能·ffmpeg·音视频