深度学习与数学归纳法

最近发现,深度学习可以分为两个主要的阶段,分别是前向推理以及反向传播,分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。

在做参数训练的时候,本质上是在利用历史数据求网络参数的先验分布; p ( θ ∣ x , y ) p(\theta | x,y) p(θ∣x,y)

在推理的时候,本质是在基于训练好的参数进行极大似然估计。 p ( y ∣ x , θ ) p(y |x, \theta) p(y∣x,θ)

此外,深度学习解决问题时,往往先假设所有的参数都能够训练到最优 θ ∗ \theta^* θ∗,然后在这个最优训练参数假设下构建前向网络进行建模。等建模表征完之后,再去基于数据和优化器把参数训练到最优。这个思想其实和数学归纳法里面的先假设某个条件成立,再去做其他事情,然后再反过来优化这个条件很像,也和EM估计的思想很像。

这也可以解释为什么很多网络结构的改进的论文,本质上是提供了参数交互的接口,让网络有机会对某种类型的数据进行建模和表征,然后再去对其进行训练。

相关推荐
微凉的衣柜2 分钟前
Meta AI 推出机器人开源项目:推动触觉感知和人机交互的前沿研究
人工智能·机器人·人机交互
袁牛逼6 分钟前
ai外呼机器人的作用有哪些?
人工智能·机器人
BSV区块链16 分钟前
如何在BSV区块链上实现可验证AI
人工智能·区块链
武子康33 分钟前
大数据-212 数据挖掘 机器学习理论 - 无监督学习算法 KMeans 基本原理 簇内误差平方和
大数据·人工智能·学习·算法·机器学习·数据挖掘
deephub34 分钟前
Tokenformer:基于参数标记化的高效可扩展Transformer架构
人工智能·python·深度学习·架构·transformer
Q81375746040 分钟前
数据挖掘在金融交易中的应用:民锋科技的智能化布局
人工智能·科技·数据挖掘
qzhqbb43 分钟前
语言模型的采样方法
人工智能·语言模型·自然语言处理
qzhqbb1 小时前
基于 Transformer 的语言模型
人工智能·语言模型·自然语言处理·transformer
___Dream1 小时前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
极客代码1 小时前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow