大模型day1 - 什么是GPT

什么是GPT

全称 Generative Pre-trained Transformer 是一种基于 Transformer 架构的大规模 预训练 语言模型,由OpenAI研发,但GPT仅仅只是借鉴了Transformer 中 Decoder 的部分,并且做了升级

Transformer 架构

Transformer架构 是一种用于处理序列数据(比如文本、语音)的深度学习模型,它的核心思想是"自我关注 "(Self-Attention),可以理解为"聪明地抓重点"
Transformer的核心

  • 并行处理所有词:同时看到整个句子,而不是逐个词处理。
  • 自注意力机制:让模型自动判断句子中哪些词更重要,并动态调整它们之间的关系

Encoder-Decoder

  • 只有Encoder的模型(如BERT):适合理解任务(文本分类、实体识别),但不能生成文本。
  • 只有Decoder的模型(如GPT):擅长生成文本(写文章、聊天),但对输入的理解可能不如Encoder深入。
  • Encoder-Decoder结合(如Transformer、T5):两者优势兼顾,适合需要"先理解再生成"的任务。

预训练

简单来说就是提前进行训练,从大量无标注的数据中学习通用能力
预训练的特点

  • 自监督学习:无需人工标注,模型通过"填空""预测下一词"等任务从海量文本中自学。
  • 大数据训练:用TB级文本(如书籍、网页)训练,覆盖多领域知识。
  • 迁移学习:先学通用语言规律,再微调适配具体任务(如翻译、问答)。
  • 超大模型:参数规模达百亿甚至万亿级(如GPT-3有1750亿参数),能力更强。
  • 多任务通用:同一模型通过微调或提示(Prompt)完成不同任务(写文章、写代码、翻译等)。
  • Few-shot学习:仅需少量示例即可适应新任务,无需大量标注数据。
  • 高计算成本:训练耗资巨大(如GPT-3训练花费1200万美元),依赖高端GPU。

微调

让预训练模型(比如GPT、BERT)在少量特定任务数据上"再学习",使它从"通才"变成"专才"。

  • 微调只要少量的数据就可以获取不错的效果
  • 微调成本较低,可以在单卡上运行
相关推荐
盼小辉丶3 小时前
Transformer实战(13)——从零开始训练GPT-2语言模型
gpt·深度学习·语言模型·transformer
武子康5 小时前
AI-调查研究-59-机器人 行业职业地图:发展路径、技能要求与薪资全解读
人工智能·gpt·程序人生·ai·职场和发展·机器人·个人开发
*星星之火*9 小时前
【GPT入门】第59课 大模型内存计算指南:7B/8B/70B 模型在 32/16/8/4bit 精度下的内存需求测算
人工智能·gpt·深度学习
技术程序猿华锋12 小时前
学术/报告场景实测:从申请OpenAI API Key获取并实现GPT-5 PDF分析机器人(含源码)
gpt·机器人·pdf
严文文-Chris19 小时前
【GPT-5 与 GPT-4 的主要区别?】
人工智能·gpt
youcans_1 天前
【AGI使用教程】GPT-OSS 本地部署(2)
人工智能·gpt·大语言模型·模型部署·webui
AIbase20242 天前
Gemini 2.5 Flash-Lite 与 GPT-5-mini:高性能低成本模型,如何选择?
前端·人工智能·gpt
*星星之火*3 天前
【GPT入门】第56课 大模型分布式训练的三种方式、模型层介绍及DeepSpeed ZeRO的支持
gpt
算法_小学生3 天前
GPT 模型详解:从原理到应用
gpt
*星星之火*4 天前
【GPT入门】第51课 将hf模型转换为GGUF
gpt