最近发现，深度学习可以分为两个主要的阶段，分别是前向推理以及反向传播，分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。
在做参数训练的时候，本质上是在利用历史数据求网络参数的先验分布； p ( θ ∣ x , y ) p(\theta | x,y) p(θ∣x,y)
在推理的时候，本质是在基于训练好的参数进行极大似然估计。 p ( y ∣ x , θ ) p(y |x, \theta) p(y∣x,θ)
此外，深度学习解决问题时，往往先假设所有的参数都能够训练到最优 θ ∗ \theta^* θ∗，然后在这个最优训练参数假设下构建前向网络进行建模。等建模表征完之后，再去基于数据和优化器把参数训练到最优。这个思想其实和数学归纳法里面的先假设某个条件成立，再去做其他事情，然后再反过来优化这个条件很像，也和EM估计的思想很像。
这也可以解释为什么很多网络结构的改进的论文，本质上是提供了参数交互的接口，让网络有机会对某种类型的数据进行建模和表征，然后再去对其进行训练。