大语言模型---梯度的简单介绍；梯度的定义；梯度计算的方法

1. 梯度介绍

如果我们在一座山上（一个山的坡度有很多，陡峭的，平缓的），想要从山顶下山。而梯度就像告诉我们如何沿着最陡的下坡路线走，以尽快到达山脚（最低点）。

2. 梯度的定义

梯度是函数在某点变化最迅速的方向（对多维空间是一个向量，表示函数对每个变量的偏导数）。

1. 在一维情况下，梯度就是函数的导数 ：
   
2. 对于多维输入，梯度是对每个输入变量计算的偏导数组成的向量 ：
   

3. 梯度计算的方法

1. 数值梯度（Numerical Gradient）：
   用有限差分法近似计算梯度：
   
2. 解析梯度（Analytic Gradient）：

• 利用微积分规则直接推导梯度公式。
• 优点是计算精确、高效，适合实际应用。