RNN 交叉熵

RNN善于处理时序 序列数据

简单RNN

展开就是

LSTM

遗忘门f_t决定上期记忆保留多少

隐藏层

在神经网络中,隐藏层指的是除了输入层和输出层之外的层,它们的输出不会直接用于网络的最终输出,而是作为中间步骤用于提取和转换数据。因此,如:卷积层作为一种在输入和输出之间的处理层,被归类为隐藏层。

隐状态

X_t符号含义

反向传播以求梯度 前向传播以求输出

信息论

信息熵

交叉熵损失函数

可以由信息熵推广而来,也可以通过极大似然的推导而来

softmax

然后选最大的,详见DL Softmax,多层感知机,卷积【0】_softmax与多层感知机的对比-CSDN博客

概率论

极大似然

数据集中,每个点的概率密度函数之积最小(即约≈p(X)),求导=0求参数,叫做参数的极大似然估计

相关推荐
可触的未来,发芽的智生9 小时前
一万个为什么:汉语词性对NLP的作用
python·神经网络·程序人生·自然语言处理
飞飞是甜咖啡11 小时前
SPP-CNN解决CNN只能处理固定大小的输入图片
人工智能·神经网络·cnn
盼小辉丶11 小时前
使用CNN构建VAE
深度学习·神经网络·cnn·生成模型
蓝博AI12 小时前
基于卷积神经网络的香蕉成熟度识别系统,resnet50,vgg16,resnet34【pytorch框架,python代码】
人工智能·pytorch·python·神经网络·cnn
从后端到QT16 小时前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
Aurora-silas1 天前
LLM微调尝试——MAC版
人工智能·pytorch·深度学习·macos·机器学习·语言模型·自然语言处理
空白到白1 天前
BERT,GPT,ELMO模型对比
人工智能·gpt·自然语言处理·bert
空白到白1 天前
BERT-微调任务
人工智能·自然语言处理·bert
墨利昂1 天前
自然语言处理NLP的数据预处理:从原始文本到模型输入(MindSpore版)
人工智能·自然语言处理