pytorch反向传播算法

目录

• [1. 链式法则复习](#1. 链式法则复习)
• [2. 多输出感知机](#2. 多输出感知机)
• [3. 多层感知机](#3. 多层感知机)
• [4. 多层感知机梯度推导](#4. 多层感知机梯度推导)
• [5. 反向传播的总结](#5. 反向传播的总结)

1. 链式法则复习

2. 多输出感知机

3. 多层感知机

如图：

4. 多层感知机梯度推导

简化式子把( O k O_k Ok - t k t_k tk) O k O_k Ok(1 - O k O_k Ok)起个别名叫 δ k K \delta^K_k δkK

5. 反向传播的总结

个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程，然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。