昇思MindSpore第六课---Roberta Prompt Turning

1. Roberta Prompt Turning的概念

在了解预训练语言模型的基础,以及预训练语言模型在Pre-training和Fine-tuning之后,我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 。

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》(NIPS2020),其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

2 实践

2.1 配置环境

安装mindnlp 套件

2.2 模型与数据集加载

本案例对roberta-large模型基于GLUE基准数据集进行prompt tuning。

2.3 模型微调(prompt tuning)

按照如下步骤定义训练逻辑:

  1. 构建正向计算函数
  2. 函数变换,获取微分函数
  3. 定义训练一个step的逻辑
  4. 遍历训练数据集进行模型训练,同时每一个epoch后,遍历验证数据集获取当前的评价指标(accuracy、f1 score)

3. 感悟

每节课的深度在不断增加,对于初学者确实有些难度,很多概念也是云里雾里,但是对于模型的架构还是有一个比较清晰的概念。对于模型与数据的加载以及模型的训练也更加熟悉。对于模型的微调也有了一个更清楚的认识。也了解了大模型通过提供"提示"来鼓励预先训练的模型做出特定的预测,指定要完成的任务。这对于大模型是一个非常重要的概念,也让我们更理解大模型运行的原理。

相关推荐
风雨中的小七11 小时前
解密prompt系列60. Agent实战:从0搭建Jupter数据分析智能体
prompt
zzywxc7871 天前
AI在金融、医疗、教育、制造业等领域的落地案例(含代码、流程图、Prompt示例与图表)
人工智能·spring·机器学习·金融·数据挖掘·prompt·流程图
bboyzqh1 天前
任务型Agent:prompt工程实践
大模型·prompt·上下文工程
美人鱼战士爱学习2 天前
2024 arXiv Cost-Efficient Prompt Engineering for Unsupervised Entity Resolution
prompt
水的精神2 天前
写好 Prompt 的 12 条实践经验
prompt
Wilber的技术分享2 天前
【大模型实战笔记 1】Prompt-Tuning方法
人工智能·笔记·机器学习·大模型·llm·prompt
relis2 天前
解密llama.cpp:Prompt Processing如何实现高效推理?
prompt·llama
relis3 天前
解密大语言模型推理:Prompt Processing 的内存管理与计算优化
android·语言模型·prompt
relis3 天前
大语言模型推理的幕后英雄:深入解析Prompt Processing工作机制
人工智能·语言模型·prompt
zzywxc7873 天前
深入探讨AI三大领域的核心技术、实践方法以及未来发展趋势,结合具体代码示例、流程图和Prompt工程实践,全面展示AI编程的强大能力。
人工智能·spring·机器学习·ios·prompt·流程图·ai编程