昇思MindSpore第六课---Roberta Prompt Turning

1. Roberta Prompt Turning的概念

在了解预训练语言模型的基础,以及预训练语言模型在Pre-training和Fine-tuning之后,我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 。

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》(NIPS2020),其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

2 实践

2.1 配置环境

安装mindnlp 套件

2.2 模型与数据集加载

本案例对roberta-large模型基于GLUE基准数据集进行prompt tuning。

2.3 模型微调(prompt tuning)

按照如下步骤定义训练逻辑:

  1. 构建正向计算函数
  2. 函数变换,获取微分函数
  3. 定义训练一个step的逻辑
  4. 遍历训练数据集进行模型训练,同时每一个epoch后,遍历验证数据集获取当前的评价指标(accuracy、f1 score)

3. 感悟

每节课的深度在不断增加,对于初学者确实有些难度,很多概念也是云里雾里,但是对于模型的架构还是有一个比较清晰的概念。对于模型与数据的加载以及模型的训练也更加熟悉。对于模型的微调也有了一个更清楚的认识。也了解了大模型通过提供"提示"来鼓励预先训练的模型做出特定的预测,指定要完成的任务。这对于大模型是一个非常重要的概念,也让我们更理解大模型运行的原理。

相关推荐
众链网络11 小时前
你的Prompt还有很大提升
人工智能·prompt·ai写作·ai工具·ai智能体
汀沿河11 小时前
2 大模型高效参数微调;prompt tunning
人工智能·深度学习·prompt
大咖分享课2 天前
自动化Prompt生成平台的研发体系设计
java·人工智能·自动化·prompt
0x2112 天前
[论文精读]StruQ: Defending Against Prompt Injection with Structured Queries
prompt·提示注入攻击
一 铭2 天前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
悟乙己3 天前
通过Claude 生成图片的prompt集锦(一)
prompt·claude·李继刚
逻辑03 天前
Prompt:提示词工程
prompt
AIGC包拥它4 天前
提示技术系列——链式提示
人工智能·python·langchain·prompt
摸鱼仙人~4 天前
Prompt Engineering Guide — 提示工程全方位指南
prompt
非英杰不图4 天前
论文阅读:Align and Prompt (ALPRO 2021.12)
论文阅读·prompt