RNN 交叉熵

RNN善于处理时序 序列数据

简单RNN

展开就是

LSTM

遗忘门f_t决定上期记忆保留多少

隐藏层

在神经网络中,隐藏层指的是除了输入层和输出层之外的层,它们的输出不会直接用于网络的最终输出,而是作为中间步骤用于提取和转换数据。因此,如:卷积层作为一种在输入和输出之间的处理层,被归类为隐藏层。

隐状态

X_t符号含义

反向传播以求梯度 前向传播以求输出

信息论

信息熵

交叉熵损失函数

可以由信息熵推广而来,也可以通过极大似然的推导而来

softmax

然后选最大的,详见DL Softmax,多层感知机,卷积【0】_softmax与多层感知机的对比-CSDN博客

概率论

极大似然

数据集中,每个点的概率密度函数之积最小(即约≈p(X)),求导=0求参数,叫做参数的极大似然估计

相关推荐
Solange__1 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
2601_967980112 天前
使用gensim处理文本(1)语料库与词向量空间
python·自然语言处理·gensim·词向量·文本分析
Martina_03213 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
aifannihao3 天前
AI 学习第 14 课:CNN 训 6 轮卡在 0.5352,数据没打乱
pytorch·python·深度学习·cnn·学习路线
2301_790355973 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频
SJZR5 天前
图解循环神经网络(RNN)
人工智能·rnn·神经网络
kaixin_啊啊6 天前
【零基础学AI】第 28 章——大语言模型怎样训练出来
人工智能·语言模型·自然语言处理
机器学习之心6 天前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer
yunhuibin7 天前
AI分类任务种类
人工智能·自然语言处理·分类