传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调
mindnlp直接有
peft config
peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)
方便我们进行prompt tuning
就只不过是一种peft
是使用的glue数据集,里面很多丰富种类的数据
看来是用mrpc任务,判断2个句子是不是同一描述。
微调的参数少,这才是peft
用ms设置求导,和模型搭建
开始了微调
最后得到了评估的分数