Chapter3 Linear Neural Networks
3.4 Softmax Regression
3.4.1 Classification Problems
一般的分类问题并不与类别之间的自然顺序有关，统计学家发明了一种表示分类数据的简单方法：独热编码 （one-hot encoding）。独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为1，其他所有分量设置为0。在我们的例子中，标签 y y y将是一个三维向量，其中 ( 1 , 0 , 0 ) (1, 0, 0) (1,0,0)对应于"猫"、 ( 0 , 1 , 0 ) (0, 1, 0) (0,1,0)对应于"鸡"、 ( 0 , 0 , 1 ) (0, 0, 1) (0,0,1)对应于"狗"：
y ∈ { ( 1 , 0 , 0 ) , ( 0 , 1 , 0 ) , ( 0 , 0 , 1 ) } . y \in \{(1, 0, 0), (0, 1, 0), (0, 0, 1)\}. y∈{(1,0,0),(0,1,0),(0,0,1)}.
3.4.2 Network Architecture
为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数 （affine function）。每个输出对应于它自己的仿射函数。在我们的例子中，由于我们有4个特征和3个可能的输出类别，我们将需要12个标量来表示权重（带下标的 w w w），3个标量来表示偏置（带下标的 b b b）。下面我们为每个输入计算三个未规范化的预测 （logit）： o 1 o_1 o1、 o 2 o_2 o2和 o 3 o_3 o3。
o 1 = x 1 w 11 + x 2 w 12 + x 3 w 13 + x 4 w 14 + b 1 , o 2 = x 1 w 21 + x 2 w 22 + x 3 w 23 + x 4 w 24 + b 2 , o 3 = x 1 w 31 + x 2 w 32 + x 3 w 33 + x 4 w 34 + b 3 . \begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{12} + x_3 w_{13} + x_4 w_{14} + b_1,\\ o_2 &= x_1 w_{21} + x_2 w_{22} + x_3 w_{23} + x_4 w_{24} + b_2,\\ o_3 &= x_1 w_{31} + x_2 w_{32} + x_3 w_{33} + x_4 w_{34} + b_3. \end{aligned} o1o2o3=x1w11+x2w12+x3w13+x4w14+b1,=x1w21+x2w22+x3w23+x4w24+b2,=x1w31+x2w32+x3w33+x4w34+b3.
上式通过向量形式表达为 o = W x + b \mathbf{o} = \mathbf{W} \mathbf{x} + \mathbf{b} o=Wx+b。
我们可以用神经网络图来描述这个计算过程，如下图所示。与线性回归一样，softmax回归也是一个单层神经网络。由于计算每个输出 o 1 o_1 o1、 o 2 o_2 o2和 o 3 o_3 o3取决于所有输入 x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3和 x 4 x_4 x4，所以softmax回归的输出层也是全连接层。
3.4.3 Parameterization Cost of Fully-Connected Layers(此段书上内容较少，有待详细补充)
在深度学习中，全连接层无处不在。然而，全连接层是"完全"连接的，可能有很多可学习的参数。具体来说，对于任何具有 d d d个输入和 q q q个输出的全连接层，参数开销(在传递函数或方法参数时引入的额外开销)为 O ( d q ) \mathcal{O}(dq) O(dq)，这个数字在实践中可能高得令人望而却步。幸运的是，将 d d d个输入转换为 q q q个输出的成本可以减少到 O ( d q n ) \mathcal{O}(\frac{dq}{n}) O(ndq)，其中超参数 n n n可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性。
3.4.4 Softmax Operation
现在我们将优化参数，以最大化预测结果符合实际情况的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。我们希望模型的输出 y ^ j \hat{y}_j y^j可以视为属于类 j j j的概率，然后选择具有最大输出值的类别 argmax j y j \operatorname*{argmax}_j y_j argmaxjyj作为我们的预测。例如，如果 y ^ 1 \hat{y}_1 y^1、 y ^ 2 \hat{y}_2 y^2和 y ^ 3 \hat{y}_3 y^3分别为0.1、0.8和0.1，那么我们预测的类别是2，在我们的例子中代表"鸡"。但我们不能将未规范化的预测 o o o直接视作我们感兴趣的输出，因为将线性层的输出直接视为概率时存在一些问题：一方面，我们没有限制这些输出数字的总和为1；另一方面，根据输入的不同，它们可以为负值。
要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。此外，我们需要一个训练的目标函数，来激励模型精准地估计概率。例如，在分类器输出0.5的所有样本中，我们希望这些样本是刚好有一半实际上属于预测的类别。这个属性叫做校准（calibration）。
社会科学家邓肯·卢斯于1959年在选择模型 （choice model）的理论基础上发明的softmax函数正是这样做的：softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，我们首先对每个未规范化的预测求幂，这样可以确保输出非负。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。如下式：
y ^ = s o f t m a x ( o ) 其中 y ^ j = exp ( o j ) ∑ k exp ( o k ) \hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})\quad \text{其中}\quad \hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)} y^=softmax(o)其中y^j=∑kexp(ok)exp(oj)
这里，对于所有的 j j j总有 0 ≤ y ^ j ≤ 1 0 \leq \hat{y}_j \leq 1 0≤y^j≤1。因此， y ^ \hat{\mathbf{y}} y^可以视为一个正确的概率分布。softmax运算不会改变未规范化的预测 o \mathbf{o} o之间的大小次序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。
argmax j y ^ j = argmax j o j . \operatorname*{argmax}_j \hat y_j = \operatorname*{argmax}_j o_j. jargmaxy^j=jargmaxoj.
尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型。
3.4.5 Softmax Vectorization
为了提高计算效率并且充分利用GPU，我们通常会对小批量样本的数据执行矢量计算。假设我们读取了一个批量的样本 X \mathbf{X} X，其中特征维度（输入数量）为 d d d，批量大小为 n n n。此外，假设我们在输出中有 q q q个类别。那么小批量样本的特征为 X ∈ R n × d \mathbf{X} \in \mathbb{R}^{n \times d} X∈Rn×d，权重为 W ∈ R d × q \mathbf{W} \in \mathbb{R}^{d \times q} W∈Rd×q，偏置为 b ∈ R 1 × q \mathbf{b} \in \mathbb{R}^{1\times q} b∈R1×q。softmax回归的矢量计算表达式为：
O = X W + b , Y ^ = s o f t m a x ( O ) . \begin{aligned} \mathbf{O} &= \mathbf{X} \mathbf{W} + \mathbf{b}, \\ \hat{\mathbf{Y}} & = \mathrm{softmax}(\mathbf{O}). \end{aligned} OY^=XW+b,=softmax(O).
相对于一次处理一个样本，小批量样本的矢量化加快了 X 和 W \mathbf{X}和\mathbf{W} X和W的矩阵-向量乘法。由于 X \mathbf{X} X中的每一行代表一个数据样本，那么softmax运算可以按行 （rowwise）执行：对于 O \mathbf{O} O的每一行，我们先对所有项进行幂运算，然后通过求和对它们进行标准化。在上式中， X W + b \mathbf{X} \mathbf{W} + \mathbf{b} XW+b的求和会使用广播机制，小批量的未规范化预测 O \mathbf{O} O和输出概率 Y ^ \hat{\mathbf{Y}} Y^都是形状为 n × q n \times q n×q的矩阵。
3.4.6 Loss Function
接下来，我们将使用最大似然估计来度量预测的效果,这与在线性回归中的方法相同。
3.4.6.1 Log Likelihood
softmax函数给出了一个向量 y ^ \hat{\mathbf{y}} y^，我们可以将其视为"对给定任意输入 x \mathbf{x} x的每个类的条件概率"。例如， y ^ 1 \hat{y}_1 y^1= P ( y = 猫 ∣ x ) P(y=\text{猫} \mid \mathbf{x}) P(y=猫∣x)。假设整个数据集 { X , Y } \{\mathbf{X}, \mathbf{Y}\} {X,Y}具有 n n n个样本，其中索引 i i i的样本由特征向量 x ( i ) \mathbf{x}^{(i)} x(i)和独热标签向量 y ( i ) \mathbf{y}^{(i)} y(i)组成。我们可以将估计值与实际值进行比较：
P ( Y ∣ X ) = ∏ i = 1 n P ( y ( i ) ∣ x ( i ) ) . P(\mathbf{Y} \mid \mathbf{X}) = \prod_{i=1}^n P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}). P(Y∣X)=i=1∏nP(y(i)∣x(i)).
根据最大似然估计，我们最大化 P ( Y ∣ X ) P(\mathbf{Y} \mid \mathbf{X}) P(Y∣X)，相当于最小化负对数似然：
− log P ( Y ∣ X ) = ∑ i = 1 n − log P ( y ( i ) ∣ x ( i ) ) = ∑ i = 1 n l ( y ( i ) , y ^ ( i ) ) (对数似然损失等于交叉熵损失的总和,后续补充) -\log P(\mathbf{Y} \mid \mathbf{X}) = \sum_{i=1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i=1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)})\text{(对数似然损失等于交叉熵损失的总和,后续补充)} −logP(Y∣X)=i=1∑n−logP(y(i)∣x(i))=i=1∑nl(y(i),y^(i))(对数似然损失等于交叉熵损失的总和,后续补充)
其中，对于任何标签 y \mathbf{y} y和模型预测 y ^ \hat{\mathbf{y}} y^，损失函数为：
l ( y , y ^ ) = − ∑ j = 1 q y j log y ^ j . l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j. l(y,y^)=−j=1∑qyjlogy^j.
上式中的损失函数通常被称为交叉熵损失 （cross-entropy loss）。由于 y \mathbf{y} y是一个长度为 q q q的独热编码向量，所以除了一个项以外的所有项 j j j都消失了。由于所有 y ^ j \hat{y}_j y^j都是预测的概率，所以它们的对数永远不会大于 0 0 0。因此，如果正确地预测实际标签，即如果实际标签 P ( y ∣ x ) = 1 P(\mathbf{y} \mid \mathbf{x})=1 P(y∣x)=1，则损失函数不能进一步最小化。注意，这往往是不可能的。例如，数据集中可能存在标签噪声（比如某些样本可能被误标），或输入特征没有足够的信息来完美地对每一个样本分类。
由对数似然损失等于交叉熵损失的总和(后续补充),有
∑ i = 1 n − log P ( y ( i ) ∣ x ( i ) ) = ∑ i = 1 n l ( y ( i ) , y ^ ( i ) ) \sum_{i=1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i=1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}) i=1∑n−logP(y(i)∣x(i))=i=1∑nl(y(i),y^(i))
现在让我们考虑整个结果分布的情况，即观察到的不仅仅是一个结果。对于标签 y \mathbf{y} y，我们可以使用与以前相同的表示形式。唯一的区别是，我们现在用一个概率向量表示，如 ( 0.1 , 0.2 , 0.7 ) (0.1, 0.2, 0.7) (0.1,0.2,0.7)，而不是仅包含二元项的向量 ( 0 , 0 , 1 ) (0, 0, 1) (0,0,1)。我们使用交叉熵损失来定义所有标签分布的预期损失值，它是分类问题最常用的损失之一。
3.4.6.2 Softmax and Derivatives
由于softmax和相关的损失函数很常见，因此我们需要更好地理解它的计算方式。利用softmax的定义，我们得到：
l ( y , y ^ ) = − ∑ j = 1 q y j log exp ( o j ) ∑ k = 1 q exp ( o k ) = ∑ j = 1 q y j log ∑ k = 1 q exp ( o k ) − ∑ j = 1 q y j o j = log ∑ k = 1 q exp ( o k ) − ∑ j = 1 q y j o j \begin{aligned} l(\mathbf{y}, \hat{\mathbf{y}}) &= - \sum_{j=1}^q y_j \log \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} \\ &= \sum_{j=1}^q y_j \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j\\ &= \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j \end{aligned} l(y,y^)=−j=1∑qyjlog∑k=1qexp(ok)exp(oj)=j=1∑qyjlogk=1∑qexp(ok)−j=1∑qyjoj=logk=1∑qexp(ok)−j=1∑qyjoj
关于最后一行，由于 y \mathbf{y} y是一个长度为 q q q的独热编码向量，所以除了一个项以外的所有项 j j j都消失了。
考虑相对于任何未规范化的预测 o j o_j oj的导数，我们得到：
∂ o j l ( y , y ^ ) = exp ( o j ) ∑ k = 1 q exp ( o k ) − y j = s o f t m a x ( o ) j − y j . \partial_{o_j} l(\mathbf{y}, \hat{\mathbf{y}}) = \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} - y_j = \mathrm{softmax}(\mathbf{o})_j - y_j. ∂ojl(y,y^)=∑k=1qexp(ok)exp(oj)−yj=softmax(o)j−yj.
换句话说，导数是我们softmax模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。从这个意义上讲，这与我们在回归中看到的非常相似，其中梯度是观测值 y y y和估计值 y ^ \hat{y} y^之间的差异。这不是巧合，在任何指数族分布模型中（参见本书附录中关于数学分布的一节），对数似然的梯度正是由此得出的。这使梯度计算在实践中变得容易很多。
3.4.7 Basics of Information Theory
信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。
3.4.7.1 Entropy
信息论的核心思想是量化数据中的信息内容，该数值被称为分布 P P P的熵（entropy），可以通过以下方程得到：
H [ P ] = ∑ j − P ( j ) log P ( j ) . H[P] = \sum_j - P(j) \log P(j). H[P]=j∑−P(j)logP(j).
信息论的基本定理之一指出，为了对从分布 p p p中随机抽取的数据进行编码，我们至少需要 H [ P ] H[P] H[P]"纳特（nat）"对其进行编码。"纳特"相当于比特 （bit），但是对数底为 e e e而不是2。因此，一个纳特是 1 log ( 2 ) ≈ 1.44 \frac{1}{\log(2)} \approx 1.44 log(2)1≈1.44比特。
3.4.7.2 Amount of Information
压缩与预测有什么关系呢？想象一下，我们有一个要压缩的数据流，如果我们很容易预测下一个数据，那么这个数据就很容易压缩。举一个极端的例子，假如数据流中的每个数据完全相同，那么为了传递数据流的内容，我们不必传输任何信息，也就是说，"下一个数据是xx"这个事件毫无信息量。
但是，如果我们不能完全预测每一个事件，那么我们有时可能会感到"惊异"。克劳德·香农决定用信息量 log 1 P ( j ) = − log P ( j ) \log \frac{1}{P(j)} = -\log P(j) logP(j)1=−logP(j)来量化这种惊异程度。在观察一个事件 j j j时，并赋予它（主观）概率 P ( j ) P(j) P(j)。当我们赋予一个事件较低的概率时，我们的惊异会更大，该事件的信息量也就更大。在前文中定义的熵，是当分配的概率真正匹配数据生成过程时的信息量的期望。
3.4.7.3 Re-examining Cross-Entropy
交叉熵从 P P P到 Q Q Q，记为 H ( P , Q ) H(P, Q) H(P,Q)。
我们可以把交叉熵想象为"主观概率为 Q Q Q的观察者在看到根据概率 P P P生成的数据时的预期惊异"。当 P = Q P=Q P=Q时，交叉熵达到最低，此时从 P P P到 Q Q Q的交叉熵是 H ( P , P ) = H ( P ) H(P, P)= H(P) H(P,P)=H(P)。
简而言之，我们可以从两方面来考虑交叉熵分类目标：
- 最大化观测数据的似然；
- 最小化传达标签所需的惊异。
3.4.8 Model Prediction and Evaluation
在训练softmax回归模型后，给出任何样本特征，我们可以预测每个输出类别的概率。通常我们使用预测概率最高的类别作为输出类别。如果预测与实际类别（标签）一致，则预测是正确的。我们将使用精度（accuracy）来评估模型的性能，精度等于正确预测数与预测总数之间的比率。
3.4.9 Conclusions
- softmax运算获取一个向量并将其映射为概率。
- softmax回归适用于分类问题，它使用了softmax运算中输出类别的概率分布。
- 交叉熵是一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。