聊一聊GPT基本原理

什么是GPT?

GPT是"Generative Pre-trained Transformer"的缩写,它是基于Transformer架构的自然语言处理模型;

  1. G(Generative)-生成模型
  2. P(Pre-trained)- 预训练
  3. T(Transformer)- 转换器
    大模型是如何训练的?
    分为三个阶段:
    a. 无监督学习:给模型资料库,让模型自学
    b. 有监督学习:让模型学习人类整理好的规范性回答
    c. 强化学习:不断给模型返回同一问题,进行排序(相似度计算、向量微调)不断优化模型
    优势:
    相比搜索引擎,大模型相当于一个掌握了人类语言规律且拥有海量数据的机器人,它能和人一样进行语言表达;更加智能,回答也更加准确
    劣势:
  4. LLM本身没有严格的逻辑推演,而是概率统计方面的关联度;不能够保证问题100%的准确性(可能存在说瞎话)
  5. 大模型的使用需要较高的计算资源投入,对于一些资源有限的企业和个人来说,可能会存在较大的门槛

GPT模型的训练分为两个阶段:预训练和微调:

  1. 预训练:在这一阶段,模型在大量无标签文本上进行训练,学习语言的通用特征。模型通过预测文本中的下一个词来完成任务,这是一个自回归的过程。预训练的目标是使模型能够生成连贯和有意义的文本序列。
  2. 微调:在预训练之后,模型可以在特定任务上进行微调。微调阶段通常使用与特定任务相关的较小数据集,并在这些数据上继续训练模型,以便它能够适应特定的下游任务。
    自然语言处理基础
  3. 自然语言处理(NLP):
    定义:自然语言处理(Natural Language Processing)是人工智能和语言学领域的一个分支,它旨在使计算机能够理解、解释和生成人类语言。NLP的目标是缩小人类语言和计算机之间的差距
  4. 语言模型
    定义:语言模型是NLP中的一个核心概念,它用于预测一个词序列(如句子或短语)的概率。语言模型的目的是评估一个给定的词序列在自然语言中出现的可能性。在NLP的许多任务中,语言模型都扮演着重要角色(文本生成、语音识别、机器翻译等)
  5. 深度学习
    定义:深度学习是自然语言处理领域中一种基于深度学习模型的技术。它利用深度神经网络的强大能力来理解和生成人类语言。
    一句话总结:ChatGPT通过Transformer架构和自注意力机制来理解用户的输入,并使用自回归方法来生成连贯的文本作为响应;
相关推荐
Tech Synapse5 小时前
打造企业级AI文案助手:GPT-J+Flask全栈开发实战
人工智能·gpt·flask
MonkeyKing_sunyuhua2 天前
2.2 主流大模型架构:GPT、DeepSeek、GLM、Claude、QwQ、Qwen2.5-Max等模型的比较与应用场景
gpt·架构
@PHARAOH2 天前
HOW - 如何模拟实现 gpt 展示答案的交互效果
gpt·交互
未来智慧谷3 天前
大模型工业化元年:GPT-5开启通用AI新纪元,中国技术如何破局?
人工智能·gpt
樱花穿过千岛湖4 天前
第六章:Multi-Backend Configuration
人工智能·python·gpt·学习·ai
量子位4 天前
北大团队引领 3D 生成与对齐革新:OctGPT 打破扩散模型垄断
人工智能·gpt·aigc
web守墓人5 天前
【gpt生成-其二】以go语言为例,详细讲解 并发模型:线程/协程/ Actor 实现
java·gpt·golang
剑客的茶馆6 天前
GPT,Genini, Claude Llama, DeepSeek,Qwen,Grok,选对LLM大模型真的可以事半功倍!
gpt·llm·llama·选择大模型
web守墓人7 天前
【gpt生成-其一】以go语言为例,详细描述一下 :语法规范BNF/EBNF形式化描述
前端·gpt·golang
ai_大师7 天前
Cursor怎么使用,3分钟上手Cursor:比ChatGPT更懂需求,用聊天的方式写代码,GPT4、Claude 3.5等先进LLM辅助编程
gpt·claude·cursor·apikey·中转apikey·免费apikey