一：概述
人类正处于一个深刻的技术变革阶段。自 2012 年以来，基于深度神经网络的人工智能系统持续快速发展，并在 2010 年代末取得关键突破，催生了能够生成类人文本的模型，如 GPT-2。到了 2022 年，ChatGPT 的发布成为重要里程碑，它不仅展示了语言模型的强大能力，也彻底改变了人们与计算机交互的方式。在短时间内实现大规模用户增长之后，这类模型迅速从简单的对话工具，发展为能够支持编程、写作、翻译、推理以及多模态交互的通用智能助手。
进入 2024 至 2026 年，人工智能的发展进一步加速，大语言模型（LLMs）逐渐演变为多模态基础模型（foundation models）。这些模型不仅能够处理文本，还可以理解和生成图像、音频甚至视频内容，并逐步具备更强的推理能力和工具调用能力。与此同时，模型的应用形态也从单纯的聊天界面扩展为嵌入各类软件系统的智能代理（AI agents），能够自主完成复杂任务，例如代码开发、数据分析以及自动化运维等。
ChatGPT 的成功引发了全球范围内对大模型技术的持续投入。开源模型与商业模型之间的差距逐渐缩小，多个高性能开源模型在特定任务上已达到甚至超过早期闭源系统的表现。围绕模型训练、推理优化和应用落地的技术生态也日趋成熟，使得企业和个人都能够更便捷地构建和部署自己的智能系统。可以说，在这一阶段，人工智能已经从"研究热点"转变为"基础设施"。
因此，2023 年到 2026 年这一时期，被广泛视为语言人工智能（Language AI）乃至通用人工智能发展的关键转折阶段。语言人工智能这一领域，正从单纯的自然语言处理，扩展为融合多模态理解、推理与决策能力的综合智能系统研究方向。
尽管如此，大语言模型并不是这一领域的全部。较小规模的模型、专用模型以及各种高效训练与推理技术，在实际应用中依然具有重要价值。与此同时，检索增强生成（RAG）、工具调用、强化学习对齐（RLHF/RLAIF）等方法，也成为构建实用 AI 系统的重要组成部分。
二：大语言模型历史
"人工智能（AI）"这一术语通常用于描述那些致力于执行接近人类智能任务的计算机系统，例如语音识别、语言翻译以及视觉感知等。它指的是软件所体现的智能，而非人类自身的智能。
以下是人工智能领域奠基人之一给出的更为正式的定义：
"人工智能是研究和构建智能机器，尤其是智能计算机程序的科学与工程。它与利用计算机来理解人类智能这一类似任务相关，但人工智能并不局限于那些在生物学上可观察到的方法。"
------约翰·麦卡锡（2007）
由于人工智能这一概念不断发展演进，该术语已被用来描述各种各样的系统，其中一些实际上并不真正具备智能行为。例如，在计算机游戏中的角色（NPC，非玩家角色）常常被称为"AI"，但其中很多实际上只是由简单的 if-else 逻辑实现的。
"语言人工智能（Language AI）"是人工智能的一个子领域，专注于开发能够理解、处理和生成人类语言的技术。随着机器学习方法在语言处理问题上的持续成功，"语言人工智能"这一术语常常可以与"自然语言处理（NLP）"互换使用。
语言人工智能的发展历史，其实就是不断尝试用各种方法和模型，去"表示语言"和"生成语言"的过程，这些发展如下图所示：
ChatGPT 之后，大模型从"聊天工具"进化成"通用智能系统"，各大厂（OpenAI、Google、Meta、Anthropic）和开源社区共同推动了爆发式发展。
三：语言的表示
然而，对于计算机来说，语言是一个相当复杂的概念。文本本质上是非结构化的，当被表示为由 0 和 1 组成的形式（例如单个字符的编码）时，其原有的语义往往会丢失。因此，在语言人工智能的发展历程中，一个重要的研究方向就是：如何将语言表示为结构化的形式，从而使计算机能够更容易地处理和利用这些信息。
语言人工智能的发展历史，可以从一种叫做"词袋模型（bag-of-words）"的技术开始。这是一种用于表示非结构化文本的方法。该方法最早在 20 世纪 50 年代被提出，但真正流行起来是在 21 世纪初。
词袋模型的基本思路如下：假设我们有两个句子，希望将它们转换为数值形式的表示。词袋模型的第一步是"分词（tokenization）"，也就是将句子拆分成一个个独立的词或子词（称为 token），如图所示。
，在完成分词之后，我们会将所有句子中的"不同词汇"汇总起来，构建一个词汇表（vocabulary），并利用这个词汇表来表示这些句子。
利用这个词汇表，我们只需要统计每个句子中各个词出现的次数，就相当于"把一堆词装进一个袋子"（这也正是"词袋模型"名称的由来）。因此，词袋模型的目标是将文本表示为数字形式，也就是所谓的向量（vector）或向量表示，如图所示。我们将这类模型统称为"表示模型（representation models）"。
参考:
《Hands-On Language Models》