深度学习与神经网络 | 邱锡鹏 | 第六章学习笔记 循环神经网络

6.循环神经网络

文章目录

  • 6.循环神经网络
    • [6.1 给神经网络增加记忆能力](#6.1 给神经网络增加记忆能力)
    • [6.2 循环神经网络](#6.2 循环神经网络)
    • [6.3 应用到机器学习](#6.3 应用到机器学习)
    • [6.4 参数学习](#6.4 参数学习)
    • [6.5 如何解决长程依赖问题](#6.5 如何解决长程依赖问题)
    • [6.6 GRU 和 LSTM](#6.6 GRU 和 LSTM)
    • [6.7 深层循环神经网络](#6.7 深层循环神经网络)
    • [6.8 应用](#6.8 应用)
    • [6.9 扩展到图结构](#6.9 扩展到图结构)

6.1 给神经网络增加记忆能力

6.2 循环神经网络

6.3 应用到机器学习

s是单个词的意思,b是一个词的开始,e是一个词的结束

没有结果产生的部分就是编码部分,有结果产生的部分就是解码部分

这是之前说的自回归模型

6.4 参数学习

会让第t个时刻的时候收不到关于第k个时刻的损失对地t个时刻的影响 原因就是梯度爆炸或者梯度消失

6.5 如何解决长程依赖问题

让上图的伽马=1即可,但是这个条件很强,很难达到

6.6 GRU 和 LSTM

ft是遗忘门,说的是我们这次应该忘记多少信息

6.7 深层循环神经网络

就是多叠了几层

6.8 应用

6.9 扩展到图结构

相关推荐
weisian15122 分钟前
人工智能-基础篇-10-什么是卷积神经网络CNN(网格状数据处理:输入层,卷积层,激活函数,池化层,全连接层,输出层等)
人工智能·神经网络·cnn
hjs_deeplearning1 小时前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
瑶光守护者1 小时前
【卫星通信】超低比特率语音编解码器(ULBC)的信道特性评估
深度学习·华为·卫星通信·3gpp·ulbc
昵称是6硬币8 小时前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
静心问道9 小时前
XLSR-Wav2Vec2:用于语音识别的无监督跨语言表示学习
人工智能·学习·语音识别
云渚钓月梦未杳9 小时前
深度学习04 卷积神经网络CNN
人工智能·深度学习·cnn
heimeiyingwang9 天前
【深度学习加速探秘】Winograd 卷积算法:让计算效率 “飞” 起来
人工智能·深度学习·算法
IAM四十二9 天前
Google 端侧 AI 框架 LiteRT 初探
android·深度学习·tensorflow
小白菜3336669 天前
DAY 37 早停策略和模型权重的保存
人工智能·深度学习·算法
yizhimie379 天前
DAY 40 训练和测试的规范写法
深度学习