机器学习和深度学习 -- 李宏毅(笔记与个人理解)Day19

Day 19 Recurrent Neural Network (RNN 1)

md 发现我最近需要恶补一下vue的技术......服了(因为有两个项目要交单子了)

好吧导致我停更新两天的DL,我去如坐针毡啊!今天补上

  • Slot Filling

将词语用向量的形式来表示;

提问:中文如何处理?


检测不到 前面的那个词语;

提问: 为什么不把整句话输入进去?

这样应该可以,但是如果是一个很长的段落呢?把整篇文章进行encode 是不合理的

needs memory

(Elman ) Recurrent Neural Network(RNN)

把这个流程走通!!!! 一定记得走通哈

Then we have a model which can store the order

考量时间顺序的那个kaggle

提问: 如果我们的nlp呢? 有一些倒装句应该如何处理使得其语义相同?

Elman & Jordan Network

这两个图如果看不懂的话 说明没有弄懂上面的 流程

​

Bidirectional RNN

检测范围较广,不仅上文, 还有下文;用来解决倒装句比较不错哈

Long short -term Memory (LSTM)

正常的输入和三个控制门讯号的输入

和RNN比较起来, 强化了对整体序列的记忆;并且可以 认为的通过lable 训练出需要记忆的重点序列
内部逻辑图!需要重点掌握哦!

  • "h" 通常表示 LSTM(长短期记忆网络)的输出门中使用的激活函数。在 LSTM 单元中,输出门决定了有多少当前单元状态要输出到下一个时间步骤。这个 "h" 函数通常是一个 sigmoid 函数。
  • "g" 表示在计算新的单元状态时使用的激活函数。这个函数通常是一个能够输出较宽范围的函数,例如双曲正切函数(tanh),其输出范围是 -1 到 1。这允许网络调整其内部状态,通过结合之前的状态和当前的输入。

这里我也不明白为什么要弄两个激活函数? 是普通的network 也是两次激活函数吗?

需要注意的一点是 forget gate 的取值 ,应该交 remember gate 会好一些
来吧 ,整个LSTM 最重要的ppt ,走动这个ppt 你就懂了LSTM的工作原理

如何理解LSTM和普通network的关系?

图中的+ 代表我的输入; 小圈圈代表激活函数; 划线代表不同的weight
太扯淡了! 好复杂的鬼东西

BUt

this is quite standard now

相关推荐
硅谷秋水13 分钟前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
下一站春风里35 分钟前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
jay神1 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
一只大鸽子13 小时前
游戏开发笔记4-像素画基础 轮廓-直线和曲线
笔记
forest_0913 小时前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
小杨小杨、努力变强!13 小时前
python学习笔记
笔记·学习
杨逢昌工厂6S管理16 小时前
150-杨逢昌一线现场诊断笔记:越管一线越抵触背后的熵增机理与基准化治理
经验分享·笔记·职场和发展·学习方法
电科_银尘19 小时前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
Star(up up up)19 小时前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
武子康19 小时前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习