2022最新版-李宏毅机器学习深度学习课程-P26RNN-2

一、RNN网络结构

与时间有关的反向传播(每次不同)

损失函数

实验其实不容易跑,因为他的损失函数曲线幅度很大

画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了,所以弹回去了。

原作者在训练时加上了小技巧------clipping:设置一个峰值,若超过则等于该峰值。

梯度大的原因:

  • 当W>1时,微小的变化会引起很大的变化;
  • 当w<1时,较大的变化带来的变化也很小。

RNN一些有用的变形

LSTM以及简化为双门的GRU

Clockwise RNN && SCRN

多对一

多长对多短

这里是最后删去重复的字符

改加上null符号后,可以实现一些叠词

CTC方法

多对多(无限制)

加上一个断的符号,可以及时终止

可以用在机器学习上

语法分析

自动编码器

可以提高传输效率和节约成本

相关推荐
千天夜6 分钟前
激活函数解析:神经网络背后的“驱动力”
人工智能·深度学习·神经网络
大数据面试宝典7 分钟前
用AI来写SQL:让ChatGPT成为你的数据库助手
数据库·人工智能·chatgpt
封步宇AIGC12 分钟前
量化交易系统开发-实时行情自动化交易-3.4.1.2.A股交易数据
人工智能·python·机器学习·数据挖掘
m0_5236742114 分钟前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
HappyAcmen24 分钟前
IDEA部署AI代写插件
java·人工智能·intellij-idea
噜噜噜噜鲁先森1 小时前
看懂本文,入门神经网络Neural Network
人工智能
InheritGuo1 小时前
It’s All About Your Sketch: Democratising Sketch Control in Diffusion Models
人工智能·计算机视觉·sketch
weixin_307779132 小时前
证明存在常数c, C > 0,使得在一系列特定条件下,某个特定投资时刻出现的概率与天数的对数成反比
人工智能·算法·机器学习
封步宇AIGC2 小时前
量化交易系统开发-实时行情自动化交易-3.4.1.6.A股宏观经济数据
人工智能·python·机器学习·数据挖掘
Jack黄从零学c++2 小时前
opencv(c++)图像的灰度转换
c++·人工智能·opencv