高效微调理解(prompt-tuning,p-tuning v1,p-tuning v2,lora)

高效微调(prompt-tuning,p-tuning v1,p-tuning v2,lora)

1.prompt-tuning:

例子理解;保持原本模型参数不变,通过训练提示词的参数调整prompt,使其与下游任务匹配。

例子:

2.p-tuning:

与prompt-tuning不同的是, prompt 不再是固定的文本,而是通过可学习的向量来表示

例子:

3.p-tuning v2:

与p-tuning不同的是v2在每一层(encoder / decoder)都加入[learned prefix]。

4.lora:

Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵,也就是在原始PLM旁边增加一个旁路,做一个降维再升维的操作。并在模型训练过程中,固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的参数叠加。用随机高斯分布初始化A,用0矩阵初始化B。

结构图:

相关推荐
格林威17 分钟前
UV紫外相机的简单介绍和场景应用
人工智能·数码相机·计算机视觉·视觉检测·制造·uv·工业相机
番石榴AI1 小时前
自己动手做一款ChatExcel数据分析系统,智能分析 Excel 数据
人工智能·python·数据挖掘·excel
laopeng3011 小时前
基于Spring AI Deep Researcher Agent
java·人工智能·spring
lzptouch1 小时前
数据预处理(音频/图像/视频/文字)及多模态统一大模型输入方案
人工智能·音视频
星期天要睡觉1 小时前
深度学习——循环神经网络(RNN)
人工智能·python·rnn·深度学习·神经网络
jieba121381 小时前
CAA机器学习
人工智能
TextIn智能文档云平台1 小时前
LLM 文档处理:如何让 AI 更好地理解中文 PDF 中的复杂格式?
人工智能·pdf
Blossom.1181 小时前
把AI“撒”进农田:基于极值量化与状态机的1KB边缘灌溉决策树
人工智能·python·深度学习·算法·目标检测·决策树·机器学习
takashi_void2 小时前
本地实现斯坦福小镇(利用大语言模型使虚拟角色自主发展剧情)类似项目“Microverse”
人工智能·语言模型·自然语言处理·godot·游戏程序·斯坦福小镇
java1234_小锋2 小时前
TensorFlow2 Python深度学习 - 循环神经网络(LSTM)示例
python·rnn·深度学习·tensorflow2