2022最新版-李宏毅机器学习深度学习课程-P26RNN-2

一、RNN网络结构

与时间有关的反向传播(每次不同)

损失函数

实验其实不容易跑,因为他的损失函数曲线幅度很大

画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了,所以弹回去了。

原作者在训练时加上了小技巧------clipping:设置一个峰值,若超过则等于该峰值。

梯度大的原因:

  • 当W>1时,微小的变化会引起很大的变化;
  • 当w<1时,较大的变化带来的变化也很小。

RNN一些有用的变形

LSTM以及简化为双门的GRU

Clockwise RNN && SCRN

多对一

多长对多短

这里是最后删去重复的字符

改加上null符号后,可以实现一些叠词

CTC方法

多对多(无限制)

加上一个断的符号,可以及时终止

可以用在机器学习上

语法分析

自动编码器

可以提高传输效率和节约成本

相关推荐
ZHOU_WUYI3 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1233 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界3 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221513 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot2514 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台
FreedomLeo14 小时前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas
浊酒南街4 小时前
Statsmodels之OLS回归
人工智能·数据挖掘·回归
风间琉璃""4 小时前
二进制与网络安全的关系
安全·机器学习·网络安全·逆向·二进制
畅联云平台5 小时前
美畅物联丨智能分析,安全管控:视频汇聚平台助力智慧工地建设
人工智能·物联网
加密新世界5 小时前
优化 Solana 程序
人工智能·算法·计算机视觉