李沐54_循环神经网络RNN——自学笔记

潜变量自回归模型

使用潜变量ht总结过去信息。

困惑度perplexity

1.衡量一个语言模型的好坏可以用平均交叉熵

2.历史原因NLP使用困惑度exp(Π)来衡量,是平均每次可能选项

3.无穷大是最差,1是完美

梯度裁剪

1.迭代中计算这T个时间步的梯度,在反向传播过程中产生长度为O(T)的矩阵乘法链,导致数值不稳定

2.梯度裁剪可以有效预防梯度爆炸。如果梯度长度超过θ,那么拖影回长度θ

总结

1.循环神经网络的输出取决于当下输入和前一时间的隐变量

2.应用到语言模型中时,循环神经网络根据当前词预测下一次时刻词

3.通常使用困惑度来衡量语言模型的好坏

python 复制代码
相关推荐
GIS数据转换器7 分钟前
在机器人和无人机时代,测绘人的出路在哪里?
大数据·人工智能·信息可视化·机器人·自动驾驶·汽车·无人机
joekl20 分钟前
python练习题
开发语言·python
巷北夜未央34 分钟前
Python每日一题(9)
开发语言·python
不辉放弃36 分钟前
Spark 在 Python 大数据中的作用
大数据·python
MessiGo38 分钟前
Python 爬虫(5)Beautiful Soup 4 实战
开发语言·爬虫·python
FSGF3239 分钟前
大模型MCP:模块化计算的革命性突破
人工智能·mcp
Dm_dotnet1 小时前
C#连接小智服务器并将音频解码播放过程记录
人工智能
Shockang1 小时前
机器学习的一百个概念(4)下采样
人工智能·机器学习
Shockang1 小时前
机器学习的一百个概念(3)上采样
人工智能·机器学习
LuckyAnJo1 小时前
Leetcode-100 回溯法-电话号码的字母组合
python·算法·leetcode