高效微调理解(prompt-tuning,p-tuning v1,p-tuning v2,lora)

高效微调(prompt-tuning,p-tuning v1,p-tuning v2,lora)

1.prompt-tuning:

例子理解;保持原本模型参数不变,通过训练提示词的参数调整prompt,使其与下游任务匹配。

例子:

2.p-tuning:

与prompt-tuning不同的是, prompt 不再是固定的文本,而是通过可学习的向量来表示

例子:

3.p-tuning v2:

与p-tuning不同的是v2在每一层(encoder / decoder)都加入[learned prefix]。

4.lora:

Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵,也就是在原始PLM旁边增加一个旁路,做一个降维再升维的操作。并在模型训练过程中,固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的参数叠加。用随机高斯分布初始化A,用0矩阵初始化B。

结构图:

相关推荐
智算菩萨1 分钟前
AI原生6G网络:语义通信、可重构智能表面与边缘智能的深度融合研究
网络·论文阅读·人工智能·ai·重构·论文笔记·ai-native
AI精钢2 分钟前
Agent Harness,正在成为新的 MLOps
人工智能·自然语言处理·语音识别·mlops·ai agent·agentops·ai engineering
guoji77886 分钟前
大模型安全与对齐技术拆解:ChatGPT与Gemini官网如何防止模型“失控”?
人工智能·chatgpt
金智维科技官方7 分钟前
从珠海走向全国:金智维智能流程自动化(Kingsware K-APA)的规模化部署经验
人工智能·ai·apa·数字员工
人工智能培训9 分钟前
如何利用大语言模型的能力进行实体关系抽取
大数据·人工智能·深度学习·语言模型·自然语言处理·大模型·数字孪生
AI营销资讯站9 分钟前
原圈科技AI营销深度解析:破解金融获客焦虑,抢占增长先机
大数据·人工智能
杭州留得发10 分钟前
OpenClaw 飞书插件加载失败?一次 Docker 容器内的模块路径排查实录
人工智能
大写的z先生10 分钟前
【深度学习 | 论文精读】MMTC:融合社交网络特征与图文信息的多模态虚假新闻检测
深度学习·语言模型
带娃的IT创业者14 分钟前
可选依赖的优雅降级:从思维导图双引擎到语音识别三级容错的实战设计
人工智能·语音识别·xcode
八月瓜科技21 分钟前
擎策·知海全球专利数据库 专业专利检索赋能 规避无效研发提效创新
大数据·数据库·人工智能·科技·aigc