1. 梯度介绍
如果我们在一座山上（一个山的坡度有很多，陡峭的，平缓的），想要从山顶下山。而梯度就像告诉我们如何沿着最陡的下坡路线走，以尽快到达山脚（最低点）。
2. 梯度的定义
梯度是函数在某点变化最迅速的方向（对多维空间是一个向量，表示函数对每个变量的偏导数）。
- 在一维情况下，梯度就是函数的导数 ：
- 对于多维输入，梯度是对每个输入变量计算的偏导数组成的向量 ：
3. 梯度计算的方法
- 数值梯度（Numerical Gradient）：
用有限差分法近似计算梯度：
- 解析梯度（Analytic Gradient）：
- 利用微积分规则直接推导梯度公式。
- 优点是计算精确、高效，适合实际应用。