文章目录
- 神经网络基础
- Word2Vec例子
- [循环神经网络 RNN](#循环神经网络 RNN)
- [门控计算单元 GRU](#门控计算单元 GRU)
- [长短时记忆网络 LSTM](#长短时记忆网络 LSTM)
神经网络基础
基本构成
全称:人工神经网络。启发于生物神经细胞
单个神经元
单层神经网络
前向计算
激活函数的作用:没有激活函数的话,多层神经网络就会退化为单层
输出层
线性输出:回归问题
sigmoid:二分类
softmax:多分类
如何训练?
- 训练目标:
对回归问题:计算最小均方差
对分类问题:计算交叉熵
- 最小化损失函数:梯度下降法
求导梯度从而进行梯度下降
求微分的链式法则
计算图
Word2Vec例子
- word2Vec可以学到词与词之间的关系
例如:king-Queen 与 man-woman 近似于平行,这两对词的差异也类似
- 实现:两类模型
滑动窗口构造训练数据:目标词target
;其他词context
CBOW根据context
预测target
,skip-Gram相反
输出词表的概率分布,最大的概率应该对应target
skip-Gram:预测context
- 问题:词表非常大,计算量大。
- 解决方法:负采样、分层softmax
负采样:
只采样一小部分作为负例子,词频越高采样概率越大。3/4可以保证低频词也有一定的采样概率
只采样四个词,其他词不参与计算
循环神经网络 RNN
处理序列数据时会进行顺序记忆
- 网络结构
注意 h i h_i hi会有 h i − 1 h_{i-1} hi−1部分的输入
选取概率最大的词作为下一个词
应用场景:序列标注、序列预测、图片描述、文本分类
优点:处理变长数据、模型大小不会随输入增大而增大、参数共享、利用历史信息
缺点:顺序计算时间慢、后面的单元很难获得较早、时间的信息、太多链式的梯度计算--梯度爆炸/消失
变体:GRU/LTSM
核心:计算时保留周围的记忆单元进行数据处理,以捕捉到长距离的依赖性
门控计算单元 GRU
门控机制:对当前信息进行筛选 ,决定哪些信息会传到下一层。
更新门:当前信息 x i x_i xi和过去隐藏状态 h i − 1 h_{i-1} hi−1的比重问题
重置门:上一层的隐藏状态对当前状态的激活
重置门接近零时, h i h_i hi就和 h i − 1 h_{i-1} hi−1没什么关系了
更新门 z i z_i zi接近零时, h i h_i hi直接由当前输入得到
长短时记忆网络 LSTM
网络结构
关键改变:增加cell state 学习长期的依赖关系
通过门控添加cell的信息
遗忘门
来决定上一个状态有哪些信息可以从cell中移除
输入门
决定当前信息有哪些可以存到cell中
输出门
总结:做堆叠或者网络很深时,性能很好。缓解梯度的问题
双向RNN
不仅仅取决于过去,还会取决于未来的数据
总结RNN类算法:顺序记忆,但存在梯度问题
卷积神经网络 CNN
图像领域,考虑结构特殊性,也可以用于NLP,如情感分类和关系分类
网络结构:
输入层:
滑动卷积核
CNN擅长提取局部特征;RNN适用于变长文本