语言模型的发展

语言模型(文本的特征提取)

• 1、文法规则语言模型
• 2、统计语言模型
• 3、神经网络语言模型
• 语言模型

一、文法规则语言模型

• 略

二、统计语言模型

词袋模型

• n-gram
• tf-idf
• 词袋模型（Bag of Words Model）
• NLP：n-gram模型

三、神经网络语言模型

1、NNLM

2、RNNLM

3、word2vec

• 基于浅窗口的方法（Shallow Window-Based Methods）
• CBOW
• Skip-gram
• 一文说懂Cbow和Skipgram
• 【AI理论学习】理解词向量、CBOW与Skip-Gram模型
• 机器学习算法（十三）：word2vec

4、Glove

• 矩阵分解 共现矩阵
• 矩阵分解方法 (Matrix Factorization Methods）
• Glove模型的原理与代码

5、ELMo

• lstm

6、GPT

• 生成式，只在解码时用到attention, transformer

7、bert

• transformer
• 一文读懂BERT(原理篇)
• BERT模型的详细介绍
• Bert向量表示不能直接用于相似度问题的分析

8、GPT-2

9、ERNIE

10、GPT-3

• OpenAI发展史与GPT实现原理