学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
程序员清洒8 小时前
Flutter for OpenHarmony:GridView — 网格布局实现
android·前端·学习·flutter·华为
喜欢吃燃面8 小时前
Linux:环境变量
linux·开发语言·学习
代码游侠8 小时前
ARM开发——阶段问题综述(二)
运维·arm开发·笔记·单片机·嵌入式硬件·学习
云边散步12 小时前
godot2D游戏教程系列二(4)
笔记·学习·游戏开发
jrlong12 小时前
DataWhale大模型基础与量化微调task4学习笔记(第 2 章:高级微调技术_RLHF 技术详解)
笔记·学习
Darkershadow12 小时前
蓝牙学习之Time Set
python·学习·蓝牙·ble·mesh
花间相见12 小时前
【LangChain】—— Prompt、Model、Chain与多模型执行链
前端·langchain·prompt
好奇龙猫13 小时前
【日语学习-日语知识点小记-日本語体系構造-JLPT-N2前期阶段-第一阶段(9):単語文法】
学习
AI浩13 小时前
约束模型下的目标检测置信学习
学习·目标检测·目标跟踪
m0_7482299913 小时前
ThinkPHP快速入门:从零到实战
c语言·开发语言·数据库·学习