学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
鱼很腾apoc13 分钟前
【Linux】第7期 进程间通信 (IPC) 详解:管道 (匿名 / 命名) + System V
linux·服务器·c语言·学习·进程间通信·ipc
科技大视界1 小时前
大学生专业课笔记本用哪款?来酷Air14酷睿版14英寸轻薄笔记本电脑适合学习任务多的人
学习
weixin_423533991 小时前
c++类的继承学习-去中心化交易所(DEX)的“流动性池初始化与交易指令”设计
c++·学习·去中心化
远离UE41 小时前
UE5 各类型灯光学习
学习·ue5
New农民工2 小时前
射频芯片学习-dBm概念
学习·射频学习
十月的皮皮5 小时前
C语言学习笔记20260703-牛牛与后缀表达式(逆波兰表达式)
c语言·笔记·学习
风雨中的小七2 天前
解密Prompt系列70. 从 MLA 到 CSA,聊聊大模型 Attention 的“瘦身”与“闪送”
prompt
通信小呆呆17 天前
当算法有了“五感”:多模态数据融合如何向人体感官协同学习?
人工智能·学习·算法·机器学习·机器人
H__Rick17 天前
自动对焦学习-3
人工智能·学习·计算机视觉
Daisy Lee17 天前
量化学习-第1章-什么是量化金融
学习·金融·datawhale