循环神经网络
循环神经网络 (Recurrent Neural Network, 简称RNN)是一个时间序列模型。RNN保存有内部状态,能够记忆之前时间步的信息,并将其用于当前时间步的计算。本模块介绍RNN的网络结构,包括单向和双向RNN,以及高级RNN Cell (LSTM、GRU),并演示如何利用RNN完成序列分类 (文本分类) 和序列标注任务。
序列学习任务:
以序列作为输入的学习任务主要有三种:
1.序列分类任务
将序列数据作为一个整体,进行分类,如文本分类任务。神经网络需要计算整个序列的表征,再基于这个特征表征完成分类任务。常见的文本分类任务有:情感分类,垃圾邮件分类,新闻分类、对话的意图识别等。模型一般会预测后验概率
,再将后验概率最大的类别作为预测标签。

2.序列标注任务
将序列数据中的每个元素分别进行分类,每个元素都打上一个类别标签。在NLP领域,最典型的序列标注任务是命名实体识别。模型需要为每个元素计算特征,并基于该特征作出分类。序列标注任务需要考虑输入序列以及输出序列 (即标签序列)中元素之间的关联。

3.Seq2Seq
输入一个序列,输出另外一个序列。输出序列和输入序列的长度没有必然联系,由模型来决定输出序列的长度,即判断何时停止输出。例如:机器翻译,文本摘要,Data2Text,Text2Sql等等。
