机器学习:GPT3

GPT3

模型过于巨大

GPT3是T5参数量的10倍!

训练GPT3的代价是$12百万美元

Zero-shot Ability

GPT3的思想是不是能拿掉Fine-tune

只需要给定few-shot或者zero-shot就能干相应的任务了。

  • few-shot learning(no gradient descent): 给一点点的prompt
  • one-shot learning: 给一个prompt
  • zero-shot leaning:什么都不给

few-shot 是没有微调模型的,没有梯度下降,这些文字是让模型知道做什么。

将这种能力叫做"In-context Learning"

GPT3在42个任务上的表现,随着模型参数越来越大,模型性能越来越好。

相关能力

Closed Book QA

闭卷直接问,比如说喜马拉雅山的高度是多少,few-shot learning 超过了fine-tuned sota。

随着few-shot给的数量越多,性能越来越好。

GPT3也可以做生成相关的任务,比如生成文章。产生的新闻可以骗过人类。

gpt3能做数学相关的任务,使用模型的参数越大,正确率也越高,两位数的加法和两位数的减法上表现非常好,三位数的减法也不错,加法效果要差一点,更困难的就效果比较差了。

在zero-shot和one-shot效果不行,在few-shot上效果要好一点,在ANLI的任务上效果不好,即给定两个矛盾的句子,判断两个句子是否矛盾。

训练数据是从网上爬取的数据,但是无法避免爬取的内容中是否含有任务的数据,相当于拿问题的数据进行训练再来回答任务的数据。

  • clean data:gpt3没有看过这些数据
  • dirty data:gpt3有看过这些数据

Turing Advice Challenge

gpt3给建议。



与人类的建议做一些比较,效果还一般。

GPT产生图像,一行一行的产生图像。

相关推荐
丁先生qaq8 分钟前
热成像实例分割电力设备数据集(3类,838张)
人工智能·计算机视觉·目标跟踪·数据集
红衣小蛇妖29 分钟前
神经网络-Day45
人工智能·深度学习·神经网络
KKKlucifer1 小时前
当AI遇上防火墙:新一代智能安全解决方案全景解析
人工智能
DisonTangor1 小时前
【小红书拥抱开源】小红书开源大规模混合专家模型——dots.llm1
人工智能·计算机视觉·开源·aigc
浠寒AI3 小时前
智能体模式篇(上)- 深入 ReAct:LangGraph构建能自主思考与行动的 AI
人工智能·python
weixin_505154463 小时前
数字孪生在建设智慧城市中可以起到哪些作用或帮助?
大数据·人工智能·智慧城市·数字孪生·数据可视化
Best_Me073 小时前
深度学习模块缝合
人工智能·深度学习
YuTaoShao4 小时前
【论文阅读】YOLOv8在单目下视多车目标检测中的应用
人工智能·yolo·目标检测
算家计算4 小时前
字节开源代码模型——Seed-Coder 本地部署教程,模型自驱动数据筛选,让每行代码都精准落位!
人工智能·开源
伪_装4 小时前
大语言模型(LLM)面试问题集
人工智能·语言模型·自然语言处理