语言模型是人工智能领域用于建模自然语言规律的核心模型，核心目标是计算文本序列的概率分布，或基于上下文生成符合语义、语法逻辑的自然语言内容，是NLP（Natural Language Processing，自然语言处理）的基础技术基座。以下分点梳理核心内容：
1. 核心定义与本质
- 定义：语言模型（Language Model, LM）通过学习海量文本数据的词汇、语法、语义规律，能够量化文本序列的合理性（如计算"我吃饭"vs"饭吃我"的概率），或根据给定上下文生成连贯、有意义的文本。
- 本质：将自然语言转化为可计算的数学模型，让机器"理解"并"生成"人类语言，核心是捕捉语言的上下文依赖关系。
2. 核心分类
- 按建模方式分：
- 统计语言模型（Statistical Language Model, SLM）：基于概率统计（如n-gram模型）计算文本概率，依赖人工特征，效果受限于数据量和n的大小；
- 神经网络语言模型（Neural Language Model, NLM）：基于深度学习（如RNN、Transformer）建模，能捕捉长距离上下文依赖，是当前主流（如GPT、BERT）。
- 按能力分：
- 判别式语言模型（Discriminative LM）：聚焦语言理解（如BERT），擅长分类、问答、语义匹配等任务；
- 生成式语言模型（Generative LM）：聚焦文本生成（如GPT），通过自回归方式逐Token生成文本。
- 按规模分：
- 小规模LM：参数量千万级，适配简单文本处理（如关键词提取）；
- 大语言模型（Large Language Model, LLM）：参数量亿级/千亿级（如GPT-3达1750亿），具备通用语言能力，支持零样本/少样本学习。
3. 核心技术演进
- 早期阶段：以n-gram模型为代表，基于相邻n个词的共现概率建模，缺点是无法处理长距离依赖、数据稀疏；
- 中期阶段：基于RNN/LSTM/GRU的神经网络模型，可捕捉序列依赖，但存在梯度消失问题，长文本处理效果有限；
- 现阶段：基于Transformer架构的模型（如GPT、BERT），通过自注意力机制（Self-Attention）高效捕捉长距离上下文，成为主流技术基座。
4. 核心能力与应用
- 核心能力：文本概率计算、上下文补全、语义理解、文本生成、翻译、摘要等；
- 典型应用：
- 基础NLP任务：分词、词性标注、句法分析；
- 生成类应用：智能写作、聊天机器人、代码生成；
- 理解类应用：情感分析、文本分类、信息抽取；
- 跨模态应用：结合视觉/音频模型，实现图文生成、语音转文字等。
5. 关键评价指标
- 困惑度（Perplexity, PPL）：衡量模型对文本的拟合程度，值越低表示模型对语言规律的建模越精准；
- BLEU/Rouge：评估生成文本的质量（如机器翻译、摘要的准确性）；
- 人类评估：针对生成文本的流畅度、相关性、逻辑性的主观评价。