序列学习任务

循环神经网络

循环神经网络 (Recurrent Neural Network, 简称RNN)是一个时间序列模型。RNN保存有内部状态,能够记忆之前时间步的信息,并将其用于当前时间步的计算。本模块介绍RNN的网络结构,包括单向和双向RNN,以及高级RNN Cell (LSTM、GRU),并演示如何利用RNN完成序列分类 (文本分类) 和序列标注任务。

序列学习任务:

以序列作为输入的学习任务主要有三种:

1.序列分类任务

将序列数据作为一个整体,进行分类,如文本分类任务。神经网络需要计算整个序列的表征,再基于这个特征表征完成分类任务。常见的文本分类任务有:情感分类,垃圾邮件分类,新闻分类、对话的意图识别等。模型一般会预测后验概率,再将后验概率最大的类别作为预测标签。

2.序列标注任务

将序列数据中的每个元素分别进行分类,每个元素都打上一个类别标签。在NLP领域,最典型的序列标注任务是命名实体识别。模型需要为每个元素计算特征,并基于该特征作出分类。序列标注任务需要考虑输入序列以及输出序列 (即标签序列)中元素之间的关联。

3.Seq2Seq

输入一个序列,输出另外一个序列。输出序列和输入序列的长度没有必然联系,由模型来决定输出序列的长度,即判断何时停止输出。例如:机器翻译,文本摘要,Data2Text,Text2Sql等等。

相关推荐
武子康3 小时前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
花月mmc4 小时前
【FPGA】神经网络内容简介预告
嵌入式硬件·深度学习·神经网络·fpga开发
在所不辞兄5 小时前
为什么在标签噪声场景下,识别双重下降拐点有助于防止模型记忆异常数据?
人工智能·深度学习·神经网络·机器学习
一起学安全技术5 小时前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer
电科_银尘5 小时前
【深度学习项目实战·23】图像异常检测:用自编码器重建误差识别类别外样本
人工智能·深度学习
严肃小白兔18 小时前
第 02/24 期:从线性模型到多层感知机:神经网络的表示能力
人工智能·深度学习·神经网络
Rocky Ding*1 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
bryant_meng1 天前
【TNT】《Transformer in Transformer》
人工智能·深度学习·transformer·word embedding·tnt·sentence embed
@追求卓越1 天前
深度学习记录
人工智能·深度学习
武子康1 天前
H3-World 为何在加载 LoRA 前,先检查导入的代码?
人工智能·深度学习·算法