241124_基于MindSpore学习GPT1

241124_基于MindSpore学习GPT1

在实际中,往往未标注的文本数据远多于已标注的,这些未标注的文本数据无法投入训练,又浪费

提出了一种方法,基于大量未标注的文本数据,训练预训练语言模型,学习到一些general的特征。然后使用已标注的文本数据,对模型针对某一特定下游任务进行finetune,微调,仅更改output layer,就是GPT1

存在问题:多元的下游任务难以有统一的优化目标。同时较难将预训练模型学到的信息传递到下游任务中。

这里就体现出来和bert的区别

bert两个任务:一个完形填空,一个上下文判断

gpt1只能实现单向的任务,根据前向的词判断后面的词,在文本生成的任务中表现较好

两个模型都是基于transformer衍生的分支,bert是双向的,需要看到前后文的整体信息,使用的是encoder结构,gpt1是单向的,看不到当前词后面的内容,用的decoder结构。

这里我们可以看到,右侧decoder结构中,中间那一层multihead attention层是用于处理从encoder中拿来的信息的,我们在gpt中没有encoder结构,所以此处也不需要这个多头注意力了,所以gpt使用的decoder是从transformer的decoder中去除了中间那层Multi-Head Attention。

Fine-Tuning

在已经训练好的gpt上额外加一层线性层。然后使用已经标注好的数据进行训练

这样出来的结果是模型自己计算出来的label,然后和正确的label进行计算误差,通过缩小目标与计算结果的误差进行模型优化

后续优化过程中发现,采用下述优化方式模型收敛速度更快

这里的L1说是最开始宏观的产生的output,具体实现如下:

根据下游任务的不同,输入和线性层可能会做一些改变

classification分类任务。entailment推理任务。similarity判断相似任务,multiple choice多项选择任务。

这里面要注意,在Similarity任务判断相似性中,只用一组就只能实现单向对比,比如第一行,只能判断1像不像2,但不能判断2像不像1,所以我们就要送一对进去。

在Multiple Choice任务中,每次都是问题和其中一个选项进行比较,然后通过Linear输出一个logits,最后我们把几个logits拿来进行比较,哪个大就输出哪个。

打卡截图:

相关推荐
Coovally AI模型快速验证8 小时前
从避障到实时建图:机器学习如何让无人机更智能、更安全、更实用(附微型机载演示示例)
人工智能·深度学习·神经网络·学习·安全·机器学习·无人机
东木君_9 小时前
RK3588:MIPI底层驱动学习——入门第三篇(IIC与V4L2如何共存?)
学习
say_fall9 小时前
C语言底层学习(2.指针与数组的关系与应用)(超详细)
c语言·开发语言·学习
风已经起了10 小时前
FPGA学习笔记——图像处理之对比度调节(直方图均衡化)
图像处理·笔记·学习·fpga开发·fpga
!chen11 小时前
学习 React 前掌握 JavaScript 核心概念
javascript·学习·react.js
Hey! Hey!11 小时前
DBA 系统学习计划(从入门到进阶)
数据库·学习·dba
leo_yu_yty11 小时前
Mysql DBA学习笔记(客户端常用工具)
学习·mysql·dba
小狗爱吃黄桃罐头12 小时前
正点原子【第四期】Linux之驱动开发学习笔记-6.1 pinctrl和gpio子系统
linux·驱动开发·学习
咩?12 小时前
深度学习中的关键工具与数据处理方法
深度学习·学习
sjh210012 小时前
【学习笔记】20年前的微芯an1078foc技术,smo滑模位置估计,反电动势波形还不错,为何位置估计反而超前了呢?
笔记·学习