高效微调理解(prompt-tuning,p-tuning v1,p-tuning v2,lora)

高效微调(prompt-tuning,p-tuning v1,p-tuning v2,lora)

1.prompt-tuning:

例子理解;保持原本模型参数不变,通过训练提示词的参数调整prompt,使其与下游任务匹配。

例子:

2.p-tuning:

与prompt-tuning不同的是, prompt 不再是固定的文本,而是通过可学习的向量来表示

例子:

3.p-tuning v2:

与p-tuning不同的是v2在每一层(encoder / decoder)都加入[learned prefix]。

4.lora:

Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵,也就是在原始PLM旁边增加一个旁路,做一个降维再升维的操作。并在模型训练过程中,固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的参数叠加。用随机高斯分布初始化A,用0矩阵初始化B。

结构图:

相关推荐
予枫的编程笔记10 小时前
【Java进阶】深入浅出 Java 锁机制:从“单身公寓”到“交通管制”的并发艺术
java·人工智能·
科技云报道10 小时前
科技云科技云报到:RPA+Agent,为什么可以1+1>2?
人工智能·科技
SEO_juper10 小时前
应对 AI 概览导致的网站流量流失:诊断、优化与长期策略
人工智能·seo·数字营销
Mintopia10 小时前
🌌 信任是否会成为未来的货币?
前端·人工智能·aigc
青春不败 177-3266-052010 小时前
AI支持下的临床医学日常工作、论文撰写、数据分析与可视化、机器学习建模中的实践应用
人工智能·数据挖掘·数据分析·医学
闲看云起10 小时前
大模型注意力机制进化史:从全局到稀疏,从标准到线性、滑动窗口、MQA……
人工智能·语言模型·nlp
数说星榆18110 小时前
可信AI:透明度、公平性与问责制
人工智能
实战项目10 小时前
基于深度学习的音乐分类算法研究
人工智能·深度学习·分类
才兄说10 小时前
机器人租赁中的现场确认痛点
人工智能·机器人
传说故事10 小时前
【论文自动阅读】Stable Language Guidance for Vision-Language-Action Models
人工智能·具身智能