机器学习:GPT3

GPT3

模型过于巨大

GPT3是T5参数量的10倍!

训练GPT3的代价是$12百万美元

Zero-shot Ability

GPT3的思想是不是能拿掉Fine-tune

只需要给定few-shot或者zero-shot就能干相应的任务了。

  • few-shot learning(no gradient descent): 给一点点的prompt
  • one-shot learning: 给一个prompt
  • zero-shot leaning:什么都不给

few-shot 是没有微调模型的,没有梯度下降,这些文字是让模型知道做什么。

将这种能力叫做"In-context Learning"

GPT3在42个任务上的表现,随着模型参数越来越大,模型性能越来越好。

相关能力

Closed Book QA

闭卷直接问,比如说喜马拉雅山的高度是多少,few-shot learning 超过了fine-tuned sota。

随着few-shot给的数量越多,性能越来越好。

GPT3也可以做生成相关的任务,比如生成文章。产生的新闻可以骗过人类。

gpt3能做数学相关的任务,使用模型的参数越大,正确率也越高,两位数的加法和两位数的减法上表现非常好,三位数的减法也不错,加法效果要差一点,更困难的就效果比较差了。

在zero-shot和one-shot效果不行,在few-shot上效果要好一点,在ANLI的任务上效果不好,即给定两个矛盾的句子,判断两个句子是否矛盾。

训练数据是从网上爬取的数据,但是无法避免爬取的内容中是否含有任务的数据,相当于拿问题的数据进行训练再来回答任务的数据。

  • clean data:gpt3没有看过这些数据
  • dirty data:gpt3有看过这些数据

Turing Advice Challenge

gpt3给建议。



与人类的建议做一些比较,效果还一般。

GPT产生图像,一行一行的产生图像。

相关推荐
newxtc13 分钟前
【配置 YOLOX 用于按目录分类的图片数据集】
人工智能·目标跟踪·分类
kooboo china.1 小时前
Tailwind CSS 实战:基于 Kooboo 构建 AI 对话框页面(八):异步处理逻辑详解
前端·css·人工智能·编辑器·html·交互
newxtc1 小时前
【JJ斗地主-注册安全分析报告】
开发语言·javascript·人工智能·安全
黑码哥1 小时前
Copilot for Xcode (iOS的 AI辅助编程)
人工智能·copilot·ai编程·xcode·ai辅助编程
深科文库1 小时前
构建 MCP 服务器:第 2 部分 — 使用资源模板扩展资源
人工智能·chatgpt·llama
程序猿小D1 小时前
第22节 Node.js JXcore 打包
开发语言·人工智能·vscode·node.js·c#
ykjhr_3d2 小时前
AI 导游:开启智能旅游新时代
人工智能·旅游
jndingxin2 小时前
OpenCV CUDA模块光流计算-----实现Farneback光流算法的类cv::cuda::FarnebackOpticalFlow
人工智能·opencv·算法