一文讲透AI大模型相关的专业名词

一.LLM

1.全称Large Language Model(大语言模型,简称"大模型")

LLM:Large Language Model(大语言模型,简称"大模型")。
基本上,现在所有的大模型都是基于Transformer这套架构训练出来的。

说白了,大模型的底层引擎就是"Transformer"

"Transformer"是由Google发明(点火者),但是真正推广者是OpenAI。

2.我们平时见到的大模型有哪些?

  • ChatGPT (OpenAI)
  • 通义千问 (阿里)
  • 文心一言 (百度)
  • 豆包 (字节跳动)
  • Kimi (月之暗面)
  • DeepSeek (深度求索)
  • 等等

3.大模型是怎么工作的?

  • 本质就是一个文字接龙游戏

举例

  • 当用户问"鸿剑的文章怎么样"?然后大模型对此做出思考。
  • 一会,思考的结果是"特别",发送给用户。然后再把"特别"这个词抓回去,再回答"的"拼接到"特别"后面,发送给用户,然后再抓回去,再思考出"棒",拼接到"特别的"后面,答案是"特别的棒",然后再抓回去。发现该问题回答完了,就会输出一个结束标志(图中的绿色对钩)。
  • 说白了,本质就是一个词一个词往外蹦的,所以我们用deepseek时,也能明显发现大模型给答案时,就是一个一个词的生成的(也叫流式生成),本质原因就是因为这个大模型的生成特点,就是文字接龙游戏。

二.Token

解析:

  • 大模型本质上是一个庞大的数学函数,里面跑的全是矩阵运算。因此大模型接收的只能是数字,输出的也只能是数字。说白了大模型压根不认识人类写的文字。
  • 所以人类要和大模型沟通,需要一个中间人(翻译官),即Tokenizer。它负责编码(将文字转为数字)和解码(将数字转为文字)。
  • 所以Token是大模型处理文本的基本单位
  • 而Token不能说对应一个文字、或一个英文单词,而是具体分情况,但是大致比例如下图所示。
相关推荐
玉鸯12 小时前
多 Agent 系统通信的实现原理与最佳实践
llm·agent·mcp
TunerT_TQ13 小时前
Valhalla 静态工程审阅 #009|Continue 源码证据驱动评测【大厂开源基础设施特辑】
vscode·测试工具·开源·llm·github·jetbrains·ai编程助手
weixin_4713830314 小时前
01 LLM简介
llm
元Y亨H21 小时前
LangChain API 调用语言模型
langchain·llm
元Y亨H21 小时前
大模型技术 LangChain 概述
langchain·llm
元Y亨H21 小时前
大模型技术 提示词模板 概述
langchain·llm
元Y亨H1 天前
大模型技术 模型调用结果解析 概述
google·langchain·llm
元Y亨H1 天前
大模型技术 Ollama 概述
llm·ollama
chaors1 天前
DeepResearchSystem 0x06:LLM as Judge
llm·agent·ai编程
武子康1 天前
GPT-5.6 Luna 降价 80%:Agent 真正该重算的是单次成功成本
人工智能·chatgpt·llm