深度学习与神经网络 | 邱锡鹏 | 第六章学习笔记 循环神经网络

6.循环神经网络

文章目录

  • 6.循环神经网络
    • [6.1 给神经网络增加记忆能力](#6.1 给神经网络增加记忆能力)
    • [6.2 循环神经网络](#6.2 循环神经网络)
    • [6.3 应用到机器学习](#6.3 应用到机器学习)
    • [6.4 参数学习](#6.4 参数学习)
    • [6.5 如何解决长程依赖问题](#6.5 如何解决长程依赖问题)
    • [6.6 GRU 和 LSTM](#6.6 GRU 和 LSTM)
    • [6.7 深层循环神经网络](#6.7 深层循环神经网络)
    • [6.8 应用](#6.8 应用)
    • [6.9 扩展到图结构](#6.9 扩展到图结构)

6.1 给神经网络增加记忆能力

6.2 循环神经网络

6.3 应用到机器学习

s是单个词的意思,b是一个词的开始,e是一个词的结束

没有结果产生的部分就是编码部分,有结果产生的部分就是解码部分

这是之前说的自回归模型

6.4 参数学习

会让第t个时刻的时候收不到关于第k个时刻的损失对地t个时刻的影响 原因就是梯度爆炸或者梯度消失

6.5 如何解决长程依赖问题

让上图的伽马=1即可,但是这个条件很强,很难达到

6.6 GRU 和 LSTM

ft是遗忘门,说的是我们这次应该忘记多少信息

6.7 深层循环神经网络

就是多叠了几层

6.8 应用

6.9 扩展到图结构

相关推荐
im_AMBER3 小时前
学习日志19 python
python·学习
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
_Kayo_7 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen7 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨8 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
码字的字节8 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12138 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
碳酸的唐8 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能8 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy8 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置