10分钟揭秘大模型的原理

2022年11月底OpenAI发布的ChatGPT,一上线就引起了恐慌。我们在有大模型之前,使用百度、Bing搜索问题时,有可能找了几页也找不到自己想要的答案。而有了大模型之后,输出的答案要正确多了。关键是这个回答的正确率太可怕了。我用了几个月,发现它的答案不是说不对,而是提的问题要合理准确。

当然它最厉害的核心是能像人类的语言进行交流,不管是什么语言都可以,就算你写错了也没有问题,它都理解。这是基于生成式AI的高速发展的结果。生成式AI是通过缝合式创作生成一个新的内容。这让AI发展到了里程碑式的节点。

ChatGPT在回答问题的时候,是一个词一个词的往外蹦。这由它的原理而决定。

大模型的原理其实很简单,就是根据上下文来推理下一个文字是什么。然后会不断的文本生成。

从训练到推理的整个过程包括如下3个步骤:

  1. 预训练
  • 无监督学习,就是基于知识库进入自主学习

  • 模型在大数据集中自主学习

  1. 微调
  • 不是必需的步骤

  • 有监督

  • 通过在人工标的数据集上训练优化模型,使其"有用"、"安全"

  1. 推理
  • 与人在线、实时交互

  • 使用已经训练好的模型生成响应

Transformer模型的核心是自注意力机制,可有效的捕捉序列内各元素之间的关系。例子是一个动画: https://colab.research.google.com/github/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb#scrollTo=OJKU36QAfqOC

这个例子是通过注意力机制判断这一句话中每一个文本之间的关系和语义关系。

当我们把内容放到这个transformer模型后,每一层的自注意力机制,都可以并行的去分析文本里面的不同信息,如GPT-3有96层,可以输出包含所有必要信息的最终词的隐藏状态,这样可以精准地预测下一个词是什么。通过这么多层的模型可以实现对文本有更深层次的理解,并通过大维度词向量来记录每一个词的上下文信息。从而达到如今能够跟人进行自由对话的智能化程度。

这就是整个大模型的工作原理。

相关推荐
天树星智源9 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
zhuangzhao11920 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
智联视频超融合平台1 天前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
谙弆悕博士2 天前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
Chuck.li2 天前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
谙弆悕博士2 天前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
学无止境小袁同学2 天前
OpenAI Agents SDK 模板操作手册(可直接操作)
大模型·openai·agent·sdk·大模型应用
九卷3 天前
本体(Ontology)是什么?在 AI 中,本体的作用到底是什么?.md
大模型·agent
佛系1893 天前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
MSTcheng.3 天前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手