机器学习和深度学习 -- 李宏毅(笔记与个人理解)Day19

Day 19 Recurrent Neural Network (RNN 1)

md 发现我最近需要恶补一下vue的技术......服了(因为有两个项目要交单子了)

好吧导致我停更新两天的DL,我去如坐针毡啊!今天补上

  • Slot Filling

将词语用向量的形式来表示;

提问:中文如何处理?


检测不到 前面的那个词语;

提问: 为什么不把整句话输入进去?

这样应该可以,但是如果是一个很长的段落呢?把整篇文章进行encode 是不合理的

needs memory

(Elman ) Recurrent Neural Network(RNN)

把这个流程走通!!!! 一定记得走通哈

Then we have a model which can store the order

考量时间顺序的那个kaggle

提问: 如果我们的nlp呢? 有一些倒装句应该如何处理使得其语义相同?

Elman & Jordan Network

这两个图如果看不懂的话 说明没有弄懂上面的 流程

Bidirectional RNN

检测范围较广,不仅上文, 还有下文;用来解决倒装句比较不错哈

Long short -term Memory (LSTM)

正常的输入和三个控制门讯号的输入

和RNN比较起来, 强化了对整体序列的记忆;并且可以 认为的通过lable 训练出需要记忆的重点序列
内部逻辑图!需要重点掌握哦!

  • "h" 通常表示 LSTM(长短期记忆网络)的输出门中使用的激活函数。在 LSTM 单元中,输出门决定了有多少当前单元状态要输出到下一个时间步骤。这个 "h" 函数通常是一个 sigmoid 函数。
  • "g" 表示在计算新的单元状态时使用的激活函数。这个函数通常是一个能够输出较宽范围的函数,例如双曲正切函数(tanh),其输出范围是 -1 到 1。这允许网络调整其内部状态,通过结合之前的状态和当前的输入。

这里我也不明白为什么要弄两个激活函数? 是普通的network 也是两次激活函数吗?

需要注意的一点是 forget gate 的取值 ,应该交 remember gate 会好一些
来吧 ,整个LSTM 最重要的ppt ,走动这个ppt 你就懂了LSTM的工作原理

如何理解LSTM和普通network的关系?

图中的+ 代表我的输入; 小圈圈代表激活函数; 划线代表不同的weight
太扯淡了! 好复杂的鬼东西

BUt

this is quite standard now

相关推荐
你觉得20514 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
hyshhhh1 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
Listennnn2 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络
吴梓穆2 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
向上的车轮2 小时前
NOA是什么?国内自动驾驶技术的现状是怎么样的?
人工智能·机器学习·自动驾驶
V---scwantop---信3 小时前
英文字体:大胆都市街头Y2Y涂鸦风格品牌海报专辑封面服装字体 Chrome TM – Graffiti Font
笔记·字体
Moonnnn.3 小时前
运算放大器(四)滤波电路(滤波器)
笔记·学习·硬件工程
你觉得2053 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
吴梓穆3 小时前
UE5学习笔记 FPS游戏制作37 蓝图函数库 自己定义公共方法
笔记·学习·ue5
吴梓穆4 小时前
UE5学习笔记 FPS游戏制作41 世界模式显示UI
笔记·学习·ue5