学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
tt55555555555514 分钟前
《神经网络与深度学习》学习笔记一
深度学习·神经网络·学习
TL滕1 小时前
从0开始学算法——第一天(如何高效学习算法)
数据结构·笔记·学习·算法
仰望—星空1 小时前
MiniEngine学习笔记 : CommandAllocatorPool
笔记·学习
kblj55552 小时前
学习Linux——网络——网卡
linux·网络·学习
暖阳之下2 小时前
学习周报二十
人工智能·深度学习·学习
charlie1145141912 小时前
CSS学习笔记3:颜色、字体与文本属性基础
css·笔记·学习·教程·基础
wangqiaowq3 小时前
PAIMON+STARROCKS 学习
学习
phoenix09813 小时前
ELK企业级日志分析系统学习
学习·elk
奋斗的牛马4 小时前
FPGA—ZYNQ学习GPIO-EMIO,MIO,AXIGPIO(五)
单片机·嵌入式硬件·学习·fpga开发·信息与通信
bulucc4 小时前
如何写prompt?prompt收集
prompt