-
2012年前-磁带模型：
- 采用词ID表示法（如"今天=0，下午=1，上课=2"）
- 效果极差，被认为是NLP的"史前时期"
- 类比：仅用名字描述人，无法体现特征
-
2012年-词向量突破：
- 谷歌提出Word2Vec模型
- 核心思想：用多维特征向量代替单一ID
- 类比：描述人时使用身高(1.8m)、体重(160斤)等多维特征
- 优势：能计算词间相似度（如篮球和足球向量距离近）
词向量模型
-
向量空间特性：
- 相似概念在向量空间中距离近（球类运动、电子产品等）
- 示例：篮球、足球、羽毛球在300维空间中聚集
- 维度越高信息越丰富（50维→300维）
-
关键进步：
- 解决了词义离散表示问题
- 为后续模型提供基础表示方法
- 但仍不足以完全解决NLP问题（2012-2015年效果仍有限）
Transformer革命
-
2017年-Transformer革命：
-
里程碑论文《Attention is All You Need》
-
引入注意力机制：
- 区分重要/不重要信息（如"抽100万"比"上课"更受关注）
- 解决指代问题（如"他"指向"班主任"）
-
应用范围超出NLP（CV、语音等领域）
-
-
模型架构：
- 包含编码器（self-attention）和解码器（attention）
- 成为后续模型基础架构（如BERT）
BERT
-
- 基于Transformer的预训练模型
- 提供通用文本表示框架
- 类比：CV中的YOLO（面试必备项目）
-
行业影响：
-
2019年引发研究热潮（各领域快速适配）
-
效果显著超越先前方法
-
余弦相似度计算示例：
-
cosine_similarity=∥A∥⋅∥B∥A⋅B
-
跨领域应用：
- Transformer在CV中的应用（ViT等论文）
- 弥补CNN的某些局限性
- 需要先掌握BERT基础原理