NLP
- 一、什么是自然语言处理（NLP）
- 二、NLP的发展
- 三、相关理论
-
- [1 语言模型](#1 语言模型)
- [2 词向量表征和语义分析](#2 词向量表征和语义分析)
- [3 深度学习](#3 深度学习)
一、什么是自然语言处理（NLP）
二、NLP的发展
三、相关理论
1 语言模型
序列数据形式多样，如视频帧、音频数据等，其中文本是最常见的。
文本预处理：
- 1 将文本作为字符串加载到内存中。
- 2 将字符串拆分为词元（如单词和字符）。
- 3 建立一个词表，将拆分的词元映射到数字索引。
- 4 将文本转换为数字索引序列，方便模型操作。
假设长度为T的文本序列中的词元依次为 x 1 , x 2 , ... , x T x_1, x_2, \ldots, x_T x1,x2,...,xT。 于是 x t , 1 ≤ t ≤ T x_t, 1 \leq t \leq T xt,1≤t≤T， 可以被认为是文本序列在时间步t处的观测或标签。 在给定这样的文本序列时，语言模型（language model） 的目标是估计序列的联合概率 P ( x 1 , x 2 , ... , x T ) . P(x_1, x_2, \ldots, x_T). P(x1,x2,...,xT).