学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
916字节21 分钟前
docker学习笔记-初步接触
笔记·学习·docker
灬德布罗意的猫灬22 分钟前
Wireshark 学习笔记1
笔记·学习·wireshark
虾球xz27 分钟前
游戏引擎学习第75天
学习·游戏引擎
黄毛火烧雪下4 小时前
React 深入学习理解
前端·学习·react.js
Tatalaluola6 小时前
【《游戏编程模式》实战04】状态模式实现敌人AI
学习·游戏·unity·c#·状态模式
9命怪猫9 小时前
AI大模型-提示工程学习笔记5-零提示
人工智能·笔记·学习·ai·提示工程
生如夏花℡11 小时前
JAVA学习记录3
java·学习·idea
shaxin观yin11 小时前
python反序列化+沙箱逃逸++js+redis
python·学习·https
高 朗11 小时前
【GO基础学习】项目日志zap Logger使用
服务器·学习·golang·日志·zap
LLLuckyGirl~14 小时前
计算机网络学习
网络·学习·计算机网络