RNN 交叉熵

RNN善于处理时序 序列数据

简单RNN

展开就是

LSTM

遗忘门f_t决定上期记忆保留多少

隐藏层

在神经网络中,隐藏层指的是除了输入层和输出层之外的层,它们的输出不会直接用于网络的最终输出,而是作为中间步骤用于提取和转换数据。因此,如:卷积层作为一种在输入和输出之间的处理层,被归类为隐藏层。

隐状态

X_t符号含义

反向传播以求梯度 前向传播以求输出

信息论

信息熵

交叉熵损失函数

可以由信息熵推广而来,也可以通过极大似然的推导而来

softmax

然后选最大的,详见DL Softmax,多层感知机,卷积【0】_softmax与多层感知机的对比-CSDN博客

概率论

极大似然

数据集中,每个点的概率密度函数之积最小(即约≈p(X)),求导=0求参数,叫做参数的极大似然估计

相关推荐
赴3352 小时前
LSTM自然语言处理情感分析项目(二)加载数据集
自然语言处理·lstm·easyui
金井PRATHAMA4 小时前
产生式规则对人工智能中自然语言处理深层语义分析的影响与启示研究
人工智能·自然语言处理·知识图谱
AI浩4 小时前
大型语言模型的门控注意力:非线性、稀疏性与无注意力沉没
人工智能·语言模型·自然语言处理
金井PRATHAMA7 小时前
语义网络(Semantic Net)对人工智能中自然语言处理的深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
ai智能获客_狐狐8 小时前
智能外呼产品架构组成
人工智能·算法·自然语言处理·架构·语音识别
金井PRATHAMA8 小时前
逻辑的回归——一阶谓词逻辑及其变体在自然语言处理深层语义分析中的作用与前瞻
人工智能·机器学习·自然语言处理·数据挖掘·回归·知识图谱
LETTER•11 小时前
深入理解 LLM 分词器:BPE、WordPiece 与 Unigram
深度学习·语言模型·自然语言处理
一条数据库11 小时前
中文粤语(广州)语音语料库:6219条高质量语音数据助力粤语语音识别与自然语言处理研究
人工智能·自然语言处理·语音识别
Sunhen_Qiletian12 小时前
从语言到向量:自然语言处理核心转换技术的深度拆解与工程实践导论(自然语言处理入门必读)
人工智能·自然语言处理
金井PRATHAMA12 小时前
产生式规则在自然语言处理深层语义分析中的演变、影响与未来启示
人工智能·自然语言处理·知识图谱