TensorFlow深度学习实战(37)——深度学习的数学原理在本节中,我们将探讨深度学习背后的数学原理,以了解神经网络的内部工作机制。连续反向传播的由 Henry J. Kelley 于 1960 年提出,使用动态规划实现。Stuart Dreyfus 于 1962 年提出了链式法则。Paul Werbos 首次使用反向传播进行神经网络研究,但直到 1986 年,反向传播才获得成功。1987年,Yann LeCun 描述了当前用于训练神经网络的反向传播。 随机梯度下降 (Stochastic Gradient Descent, SGD) 的基本原理由 Robbin