各类神经网络学习:(二)RNN 循环神经网络(上集),模型类型和相关知识

RNN(循环神经网络)

RNN, Recurrent Neural Network

RNN的特点就在于不同时刻之间的网络是有关联的,隐藏层会将其前一时刻的输出值作为输入参数。

一、类型:

  • 一对一 :固定的输入到输出,如 图像分类

    一对一的 RNNCNN 差不多。

  • 一对多 :固定的输入到序列输出,如 图像的文字描述、音乐生成

  • 多对一:序列输入到输出,如 **情感分析,分类正面负面情绪;单步序列预测,比如根据过去几天数据,预测未来第一天的值 **

  • 多对多 :序列输入到序列的输出,如 机器翻译,称之为编解码网络 (例如下方图片中的第四个模型,左下角的三红三绿叫做编码器,右上角的三蓝三绿叫做解码器)(有时候蓝色和红色不会共用一个绿色)

  • 同步多对多 :同步序列输入到同步输出,如 文本生成、语言建模,视频每一帧的分类,也称之为序列生成 ,或者 命名实体识别(NER)任务中,输入是一个句子,输出是该句子中每个词的实体类别(如人名、地点、组织等)


二、相关知识(持续更新)

1)为什么序列模型不使用 C N N CNN CNN 等神经网络:

答:序列数据前后之间有很强的关联性、并且序列数据的输入输出长度不固定。

2) R N N RNN RNN 有什么缺点吗?

R N N RNN RNN 在预测某一时刻的输出时,只用到了前面时刻的数据,并没有用到后面时刻的数据,这通常是不全面的。

例如判断某个单词是否是人名:He said, "Teddy was a great President.",以及 He said, "Teddy bears are on sale!",前面一个是人名,后面一个不是,但是模型判断的结果都是一样的。

不过这个在 B R N N BRNN BRNN 双向循环神经网络中会被解决。

3)题外话:文字在计算机中存在的形式:

文字在计算机中以 编码-存储-渲染 的链路存在:

  1. 编码层:ASCII、Unicode等将符号映射为二进制;
  2. 存储层:二进制数据通过文件系统或数据库管理(纯文本文件(.txt)无格式信息,而格式文本(如.docx)嵌入字体、颜色等元数据);
  3. 显示层:字体渲染与图形硬件协同生成可视化结果,系统根据编码查找对应字形,结合字号、颜色等参数生成像素矩阵,最后通过显卡等硬件将其转变换位显示器信号。

上一篇 下一篇
各类神经网络学习(一) 待发布
相关推荐
deng-c-f3 小时前
Linux C/C++ 学习日记(28):KCP协议(四):如何实现更复杂的业务:将连接状态的管理进行封装,用户只需实现发送、接收、断开的处理逻辑。
学习·网络编程·kcp
可触的未来,发芽的智生4 小时前
新奇特:黑猫警长的纳米世界,忆阻器与神经网络的智慧
javascript·人工智能·python·神经网络·架构
孤狼灬笑5 小时前
深度学习经典分类(算法分析与案例)
rnn·深度学习·算法·cnn·生成模型·fnn
星期天要睡觉6 小时前
深度学习——循环神经网络(RNN)实战项目:基于PyTorch的文本情感分析
人工智能·python·rnn·深度学习·神经网络
立志成为大牛的小牛6 小时前
数据结构——二十三、并查集的终极优化(王道408)
开发语言·数据结构·笔记·学习·程序人生·考研
QT 小鲜肉7 小时前
【个人成长笔记】Qt Creator快捷键终极指南:从入门到精通
开发语言·c++·笔记·qt·学习·学习方法
星期天要睡觉7 小时前
深度学习——循环神经网络(RNN)
人工智能·python·rnn·深度学习·神经网络
java1234_小锋8 小时前
TensorFlow2 Python深度学习 - 循环神经网络(LSTM)示例
python·rnn·深度学习·tensorflow2
tt55555555555510 小时前
从RNN到Transformer:深度学习架构革命
rnn·深度学习·transformer