🔢 一、Softmax 函数的定义
给定一个输入向量:
z=[z1,z2,...,zn]⊤ \mathbf{z} = [z_1, z_2, ..., z_n]^\top z=[z1,z2,...,zn]⊤
Softmax 函数将其变换为一个输出向量(概率分布):
σ(z)i=ezi∑j=1nezjfor i=1,...,n \sigma(\mathbf{z})i = \frac{e^{z_i}}{\sum{j=1}^n e^{z_j}} \quad \text{for } i = 1, ..., n σ(z)i=∑j=1nezjezifor i=1,...,n
这是一个向量函数,将实数向量映射为每个元素在 (0, 1) 之间,且总和为 1。
🎯 二、目标:求导
我们要推导的是:
∂σ(z)i∂zk \frac{\partial \sigma(\mathbf{z})_i}{\partial z_k} ∂zk∂σ(z)i
也就是说:
Softmax 输出第 iii 个分量对输入向量第 kkk 个分量的偏导数。
🧮 三、对两种情况分别推导
✅ 情况 1:当 i=ki = ki=k(对自己求导)
我们记 Softmax 输出为 sis_isi:
si=ezi∑j=1nezj s_i = \frac{e^{z_i}}{\sum_{j=1}^n e^{z_j}} si=∑j=1nezjezi
利用商法则:
∂si∂zi=ezi⋅∑jezj−ezi⋅ezi(∑jezj)2=ezi(∑jezj−ezi)(∑jezj)2 \frac{\partial s_i}{\partial z_i} = \frac{e^{z_i} \cdot \sum_j e^{z_j} - e^{z_i} \cdot e^{z_i}}{(\sum_j e^{z_j})^2} = \frac{e^{z_i}(\sum_j e^{z_j} - e^{z_i})}{(\sum_j e^{z_j})^2} ∂zi∂si=(∑jezj)2ezi⋅∑jezj−ezi⋅ezi=(∑jezj)2ezi(∑jezj−ezi)
整理一下:
∂si∂zi=si(1−si) \frac{\partial s_i}{\partial z_i} = s_i (1 - s_i) ∂zi∂si=si(1−si)
✅ 情况 2:当 i≠ki \ne ki=k(对别的分量求导)
∂si∂zk=0⋅∑jezj−ezi⋅ezk(∑jezj)2=−eziezk(∑jezj)2=−sisk \frac{\partial s_i}{\partial z_k} = \frac{0 \cdot \sum_j e^{z_j} - e^{z_i} \cdot e^{z_k}}{(\sum_j e^{z_j})^2} = -\frac{e^{z_i} e^{z_k}}{(\sum_j e^{z_j})^2} = -s_i s_k ∂zk∂si=(∑jezj)20⋅∑jezj−ezi⋅ezk=−(∑jezj)2eziezk=−sisk
📦 四、结果:Jacobian 矩阵形式
我们将所有偏导组织成一个 Jacobian 矩阵 J∈Rn×nJ \in \mathbb{R}^{n \times n}J∈Rn×n,有:
J_{ik} = \\frac{\\partial s_i}{\\partial z_k} = \\begin{cases} s_i (1 - s_i), \& \\text{if } i = k \\ * s_i s_k, \& \\text{if } i \\ne k \\end{cases}
也可以写成矩阵形式:
∂s∂z=diag(s)−ss⊤ \frac{\partial \boldsymbol{s}}{\partial \mathbf{z}} = \text{diag}(\boldsymbol{s}) - \boldsymbol{s} \boldsymbol{s}^\top ∂z∂s=diag(s)−ss⊤
其中:
- diag(s)\text{diag}(\boldsymbol{s})diag(s) 是以 sis_isi 为对角元素的对角矩阵
- ss⊤\boldsymbol{s} \boldsymbol{s}^\topss⊤ 是外积(得到一个 rank-1 的矩阵)
💡 五、在神经网络中的用法
常见组合:Softmax + CrossEntropy(交叉熵损失)
在多分类神经网络中,常见组合是:
- 最后一层使用 Softmax 输出概率
- 损失函数使用交叉熵 Loss
这种组合在反向传播时有非常好的性质,导数公式变得非常简单:
∂Loss∂zi=y^i−yi \frac{\partial \text{Loss}}{\partial z_i} = \hat{y}_i - y_i ∂zi∂Loss=y^i−yi
其中:
- y^i\hat{y}_iy^i:Softmax 输出
- yiy_iyi:真实标签(one-hot)
这就是为什么框架(如 PyTorch)中提供 CrossEntropyLoss
是直接整合了 Softmax + Log + NLLLoss。
✅ 总结表:Softmax 求导
项目 | 内容 |
---|---|
函数定义 | si=ezi∑jezjs_i = \frac{e^{z_i}}{\sum_j e^{z_j}}si=∑jezjezi |
对自己求导 | ∂si∂zi=si(1−si)\frac{\partial s_i}{\partial z_i} = s_i (1 - s_i)∂zi∂si=si(1−si) |
对他人求导 | ∂si∂zk=−sisk\frac{\partial s_i}{\partial z_k} = -s_i s_k∂zk∂si=−sisk |
Jacobian 矩阵 | J=diag(s)−ss⊤J = \text{diag}(s) - s s^\topJ=diag(s)−ss⊤ |
应用 | 多分类输出层、交叉熵损失的梯度计算 |