RNN 交叉熵

RNN善于处理时序 序列数据

简单RNN

展开就是

LSTM

遗忘门f_t决定上期记忆保留多少

隐藏层

在神经网络中,隐藏层指的是除了输入层和输出层之外的层,它们的输出不会直接用于网络的最终输出,而是作为中间步骤用于提取和转换数据。因此,如:卷积层作为一种在输入和输出之间的处理层,被归类为隐藏层。

隐状态

X_t符号含义

反向传播以求梯度 前向传播以求输出

信息论

信息熵

交叉熵损失函数

可以由信息熵推广而来,也可以通过极大似然的推导而来

softmax

然后选最大的,详见DL Softmax,多层感知机,卷积【0】_softmax与多层感知机的对比-CSDN博客

概率论

极大似然

数据集中,每个点的概率密度函数之积最小(即约≈p(X)),求导=0求参数,叫做参数的极大似然估计

相关推荐
机器鱼3 小时前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
Toky丶6 小时前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
小白狮ww6 小时前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理
Chaos_Wang_6 小时前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
硅谷秋水7 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
机器学习之心9 小时前
区间预测 | QRTCN时间卷积神经网络分位数回归时间序列区间预测模型(Matlab完整源码和数据)
matlab·回归·cnn·分位数回归·时间卷积神经网络·qrtcn·区间预测模型
新加坡内哥谈技术9 小时前
大型语言模型Claude的“思维模式”最近被公开解剖
人工智能·语言模型·自然语言处理
啊阿狸不会拉杆9 小时前
第二十二章:Python-NLTK库:自然语言处理
前端·python·自然语言处理
蓝博AI14 小时前
基于卷积神经网络的眼疾识别系统,resnet50,efficentnet(pytorch框架,python代码)
pytorch·python·cnn