机器学习:GPT3

GPT3

模型过于巨大

GPT3是T5参数量的10倍!

训练GPT3的代价是$12百万美元

Zero-shot Ability

GPT3的思想是不是能拿掉Fine-tune

只需要给定few-shot或者zero-shot就能干相应的任务了。

  • few-shot learning(no gradient descent): 给一点点的prompt
  • one-shot learning: 给一个prompt
  • zero-shot leaning:什么都不给

few-shot 是没有微调模型的,没有梯度下降,这些文字是让模型知道做什么。

将这种能力叫做"In-context Learning"

GPT3在42个任务上的表现,随着模型参数越来越大,模型性能越来越好。

相关能力

Closed Book QA

闭卷直接问,比如说喜马拉雅山的高度是多少,few-shot learning 超过了fine-tuned sota。

随着few-shot给的数量越多,性能越来越好。

GPT3也可以做生成相关的任务,比如生成文章。产生的新闻可以骗过人类。

gpt3能做数学相关的任务,使用模型的参数越大,正确率也越高,两位数的加法和两位数的减法上表现非常好,三位数的减法也不错,加法效果要差一点,更困难的就效果比较差了。

在zero-shot和one-shot效果不行,在few-shot上效果要好一点,在ANLI的任务上效果不好,即给定两个矛盾的句子,判断两个句子是否矛盾。

训练数据是从网上爬取的数据,但是无法避免爬取的内容中是否含有任务的数据,相当于拿问题的数据进行训练再来回答任务的数据。

  • clean data:gpt3没有看过这些数据
  • dirty data:gpt3有看过这些数据

Turing Advice Challenge

gpt3给建议。



与人类的建议做一些比较,效果还一般。

GPT产生图像,一行一行的产生图像。

相关推荐
芯盾时代36 分钟前
安全大模型智驱网络和数据安全效能跃迁
网络·人工智能·安全·网络安全
彩讯股份3006341 小时前
打造多模态交互新范式|彩讯股份中标2025年中国移动和留言平台AI智能体研发项目
人工智能
思通数科大数据舆情2 小时前
工业安全零事故的智能守护者:一体化AI智能安防平台
人工智能·安全·目标检测·计算机视觉·目标跟踪·数据挖掘·知识图谱
AI360labs_atyun2 小时前
2025 高考:AI 都在哪些地方发挥了作用
人工智能·科技·ai·高考
Yxh181377845543 小时前
短视频矩阵系统技术saas源头6年开发构架
人工智能·矩阵
m0_634448894 小时前
图上合成:用于大型语言模型持续预训练的知识合成数据生成
人工智能·语言模型·自然语言处理
Studying 开龙wu4 小时前
机器学习监督学习实战五:六种算法对声呐回波信号进行分类
学习·算法·机器学习
张较瘦_4 小时前
[论文阅读] 人工智能 | 利用负信号蒸馏:用REDI框架提升LLM推理能力
论文阅读·人工智能
1296004525 小时前
机器学习的可解释性
人工智能·深度学习·自然语言处理·transformer
何中应5 小时前
第一个人工智能(AI)问答Demo
java·人工智能·语言模型