GPT系列概述

OPENAI做的东西

Openai老窝在爱荷华州,微软投资的数据中心

万物皆可GPT下咱们要失业了?

但是世界不仅仅是GPT

GPT其实也只是冰山一角,2022年每4天就有一个大型模型问世

GPT历史时刻

GPT-1

带回到2018年的NLP

所有下游任务都需要微调(再训练)

GPT-2

以不变应万变,需要注意的 GPT-2中提示是不在训练中的

Temperature

温度的选择还是要根据实际情况来

温度越低,就希望以准确性为第一要务;

温度越高,就注重多样性选择,但准确性就降低了(对应GPT来说就有可能胡说八道了)

Top k与Top p

GPT-3

关键:让模型理解暗示的是什么东西

咱们面向百度编程,它面向人类编程

就是说GPT-3训练的数据包罗万象,上通天文下知地理

3种核心的下游任务方式

其实就是输入例子有几个,打个样

zero-shot

上面的回答我们是没有事先给出参考答案的。

one-shot

GPT回答是:打老板

few-shot

会给出多个例子

例1:

结果:

例2:

3种方式的对比

这三种方式都没有更新模型,相对来说肯定few的效果好一些;

但由于few-shot中模型是没有记住例子的能力的,所以每次提问的时候都需要给出这几个例子,但是问题就是API更贵了,输入序列长度更长了

网络结构

网络结构没啥特别的,就是transformer,但是3.2M的batch有点辣眼睛

CODEX

OpenAI Codex

GPT有点像多领域都涉及,但都不是涉及得很深;而现在很多模型都聚焦于自己擅长的领域,比如说CODEX,用于代码生成。

这其实在告诉我们一件事,GPT可以个性化设置。

Evaluating Large Language Models Trained on Code

用GPT-3模型重新训练(注意不是微调,而是输入数据换成github上爬的数据,都是代码的数据)

我总说面向GITHUB编程,GPT-3这回真把这个事干了

训练数据就是GITHUB,相当于把文档注释和代码结合到一起

输入注释或者文档,来预测代码如何实现,即要面向github编程了

相关推荐
en-route7 分钟前
从零开始学神经网络——CNN(卷积神经网络)
人工智能·神经网络·cnn
Niuguangshuo9 分钟前
深度学习:池化(Pooling)
人工智能·深度学习
元基时代17 分钟前
专业的短视频发布矩阵哪家靠谱
大数据·人工智能·python·矩阵
腾讯数据架构师1 小时前
k8s 兼容摩尔线程
人工智能·云原生·容器·kubernetes·cube-studio
春末的南方城市1 小时前
AI视频生成进入多镜头叙事时代!字节发布 Waver 1.:一句话生成 10 秒 1080p 多风格视频,创作轻松“一键”达!
人工智能·深度学习·机器学习·计算机视觉·aigc
机器之心2 小时前
节前重磅:开源旗舰模型新SOTA,智谱GLM-4.6问世
人工智能·openai
肖书婷2 小时前
人工智能-机器学习day2
人工智能·机器学习
西猫雷婶2 小时前
pytorch基本运算-torch.normal()函数生成的随机数据添加噪声
人工智能·pytorch·python·深度学习·学习·线性代数·机器学习
He BianGu2 小时前
【项目】Vision Master OpenCV 3.0 版本(预)发行说明
人工智能·数码相机·opencv
无锡布里渊3 小时前
分布式光纤声波振动与AI的深度融合:开启智慧感知新时代
人工智能·温度监测·线性感温火灾监测·线型感温火灾探测器·光纤振动das·防外破·分布式光纤声波振动