梯度变化的数学解释

当自变量沿着梯度方向移动（或变化）时，因变量（函数值）会增大，并且这是因变量增大最快的方向。

同济大学高数书下册->第九章多元函数微分法及其应用 ->第七节方向导数与梯度

在数学中，假设我们有一个多元函数 f(x)f(\mathbf{x})f(x)，其中 x\mathbf{x}x 是自变量（通常是一个向量，如 (x1,x2,...,xn)(x_1, x_2, ..., x_n)(x1,x2,...,xn)），fff 是因变量（标量函数值）。

梯度（记作 ∇f\nabla f∇f 或 grad f\text{grad } fgrad f）是一个向量，它的方向代表了函数 fff 在该点处方向导数最大的方向，也就是函数值上升最快的方向。

函数 fff 沿着某个单位方向向量 u\mathbf{u}u 的变化率（方向导数）可以通过梯度和该方向向量的点积来计算：

Duf=∇f⋅u=∥∇f∥∥u∥cos⁡θ D_{\mathbf{u}}f = \nabla f \cdot \mathbf{u} = \|\nabla f\| \|\mathbf{u}\| \cos\theta Duf=∇f⋅u=∥∇f∥∥u∥cosθ

其中，θ\thetaθ 是梯度向量 ∇f\nabla f∇f 与方向向量 u\mathbf{u}u 之间的夹角。

当 θ=0∘\theta = 0^\circθ=0∘ 时（即 u\mathbf{u}u 与梯度方向完全一致），cos⁡θ=1\cos\theta = 1cosθ=1，方向导数取得最大值 ∥∇f∥\|\nabla f\|∥∇f∥。这意味着因变量 fff 增大得最快。
当 θ=180∘\theta = 180^\circθ=180∘ 时（即 u\mathbf{u}u 与梯度方向完全相反，也就是负梯度方向 ），cos⁡θ=−1\cos\theta = -1cosθ=−1，方向导数取得最小值。这意味着因变量 fff 减小得最快。

想象你站在一座山上（山的高度就是因变量 fff，你的经纬度坐标就是自变量 x\mathbf{x}x）。

在机器学习和优化算法中，我们的目标通常是最小化 一个损失函数（即让因变量尽可能小）。因此，我们不会沿着梯度方向更新自变量，而是沿着负梯度方向 更新自变量，这就是著名的梯度下降法（Gradient Descent） 的核心思想。

总结：自变量沿着梯度方向变化，确实会导致因变量增大，且是增大最快的方向；反之，沿着负梯度方向变化，会导致因变量减小最快。