矩阵的正定与负定：从Fisher信息矩阵看"曲率"的秘密
在数学和统计学中，矩阵的"正定性"和"负定性"是一对重要概念，尤其在优化、统计推断和机器学习中频繁出现。比如，Fisher信息矩阵（Fisher Information Matrix, FIM）常被描述为"正定"的，这不仅是个数学性质，还与参数估计的"曲率"密切相关。那么，什么是正定和负定？它们有什么用？今天我们就来聊聊这些问题，以Fisher信息矩阵为例，揭开矩阵性质背后的奥秘。
什么是正定和负定？
矩阵的正定性和负定性是线性代数中的概念，用来描述一个对称矩阵的"方向性"和"形状"。假设 ( A A A ) 是一个 ( n × n n \times n n×n ) 的实对称矩阵（即 ( A = A T A = A^T A=AT )），它的正定性和负定性定义如下：
正定（Positive Definite）
矩阵 ( A A A ) 是正定的，如果对于任意非零向量 ( x ∈ R n x \in \mathbb{R}^n x∈Rn )（( x ≠ 0 x \neq 0 x=0 )）：
x T A x > 0 x^T A x > 0 xTAx>0
这意味着 ( A A A ) 的二次型（quadratic form）总是正的。
负定（Negative Definite）
矩阵 ( A A A ) 是负定的，如果：
x T A x < 0 x^T A x < 0 xTAx<0
即二次型总是负的。
其他情况
- 半正定（Positive Semidefinite） ：( x T A x ≥ 0 x^T A x \geq 0 xTAx≥0 )，允许等于零。
- 半负定（Negative Semidefinite） ：( x T A x ≤ 0 x^T A x \leq 0 xTAx≤0 )。
通俗比喻
想象 ( A A A ) 是一个"碗"的形状：
- 正定：像一个"正放的碗"，碗底在下，口朝天，无论从哪个方向离开碗底，高度（ x T A x x^T A x xTAx）都增加，像一个凸起的谷底。凸函数（想象 x 2 x^2 x2的样子）。
- 负定：像一个"倒扣的碗"，碗底在上，口朝地，所有方向都下降，像一个凹陷的山顶。凹函数（想象 l o g x logx logx的样子）。
- 半正定或半负定：碗可能有平坦的区域，某些方向高度不变。
如何判断正定和负定？
数学上有几种等价方法判断一个对称矩阵的性质：
-
特征值（Eigenvalues）：
- 正定：所有特征值 ( λ i > 0 \lambda_i > 0 λi>0 )。
- 负定：所有特征值 ( λ i < 0 \lambda_i < 0 λi<0 )。
- 半正定：所有特征值 ( λ i ≥ 0 \lambda_i \geq 0 λi≥0 )。
-
二次型：
- 检查 ( x T A x x^T A x xTAx ) 在所有非零 ( x x x ) 上的符号。
-
主子式（Leading Principal Minors）：
- 正定：所有主子式（从左上角逐步扩大的子矩阵的行列式）都大于零。
- 负定：主子式符号交替（奇数阶负，偶数阶正）。
简单例子
-
( A = [ 2 0 0 2 ] A = \begin{bmatrix} 2 & 0 \\ 0 & 2 \end{bmatrix} A=[2002] )：
- ( x T A x = 2 x 1 2 + 2 x 2 2 > 0 x^T A x = 2x_1^2 + 2x_2^2 > 0 xTAx=2x12+2x22>0 )（除非 ( x = 0 x = 0 x=0 )），正定。
- 特征值：2, 2，皆正。
-
( A = [ − 1 0 0 − 1 ] A = \begin{bmatrix} -1 & 0 \\ 0 & -1 \end{bmatrix} A=[−100−1] )：
- ( x T A x = − x 1 2 − x 2 2 < 0 x^T A x = -x_1^2 - x_2^2 < 0 xTAx=−x12−x22<0 )，负定。
- 特征值：-1, -1，皆负。
Fisher信息矩阵的正定性
Fisher信息矩阵 ( I ( θ ) I(\theta) I(θ) ) 定义为得分函数的协方差：
I ( θ ) i j = E [ ∂ log p ( x ∣ θ ) ∂ θ i ∂ log p ( x ∣ θ ) ∂ θ j ∣ θ ] I(\theta)_{ij} = E\left[ \frac{\partial \log p(x|\theta)}{\partial \theta_i} \frac{\partial \log p(x|\theta)}{\partial \theta_j} \bigg| \theta \right] I(θ)ij=E[∂θi∂logp(x∣θ)∂θj∂logp(x∣θ) θ]
或者等价地：
I ( θ ) i j = − E [ ∂ 2 log p ( x ∣ θ ) ∂ θ i ∂ θ j ∣ θ ] I(\theta)_{ij} = -E\left[ \frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j} \bigg| \theta \right] I(θ)ij=−E[∂θi∂θj∂2logp(x∣θ) θ]
书中常说："如果模型是可识别的（即不同参数 ( θ \theta θ ) 对应不同分布 ( p ( x ∣ θ ) p(x|\theta) p(x∣θ) )），Fisher信息矩阵通常是正定的。"为什么？
正定的来源
- 得分函数的协方差 ：( I ( θ ) I(\theta) I(θ) ) 是协方差矩阵，而协方差矩阵天然是半正定的（( x T I x = E [ ( x T s ) 2 ] ≥ 0 x^T I x = E[(x^T s)^2] \geq 0 xTIx=E[(xTs)2]≥0 )）。
- 可识别性 ：如果模型可识别，得分函数 ( s ( θ ) = ∇ log p s(\theta) = \nabla \log p s(θ)=∇logp ) 在不同 ( θ \theta θ ) 下变化显著，( I ( θ ) I(\theta) I(θ) ) 没有零特征值（即 ( x T I x = 0 x^T I x = 0 xTIx=0 ) 仅当 ( x = 0 x = 0 x=0 )），从而正定。
正态分布例子
对于 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x∼N(μ,σ2) )：
I ( θ ) = [ 1 σ 2 0 0 1 2 σ 4 ] I(\theta) = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{bmatrix} I(θ)=[σ21002σ41]
- 特征值：( 1 σ 2 , 1 2 σ 4 \frac{1}{\sigma^2}, \frac{1}{2\sigma^4} σ21,2σ41 )，皆正。
- ( x T I x = x 1 2 σ 2 + x 2 2 2 σ 4 > 0 x^T I x = \frac{x_1^2}{\sigma^2} + \frac{x_2^2}{2\sigma^4} > 0 xTIx=σ2x12+2σ4x22>0 )，正定。
正定和负定的用途
正定和负定不仅是数学标签，它们在实际中有重要作用，尤其与"曲率"挂钩。
1. 曲率与优化
- 正定：表示函数（比如负对数似然）在某点是"碗口向上"的凸函数，最优解在底部。Fisher信息矩阵正定说明似然函数局部是凸的，参数估计有唯一解。
- 负定：表示"碗口向下"，如损失函数的最大值。优化时常希望Hessian负定（如最大化似然）。
在牛顿法中，Hessian的正定性保证步长方向正确，而Fisher信息矩阵正定则为自然梯度提供稳定基础。
2. 参数估计精度
Fisher信息矩阵正定意味着它的逆 ( I ( θ ) − 1 I(\theta)^{-1} I(θ)−1 ) 存在且正定，提供了参数估计的协方差下界（Cramér-Rao界）：
Cov ( θ ^ ) ≥ I ( θ ) − 1 \text{Cov}(\hat{\theta}) \geq I(\theta)^{-1} Cov(θ^)≥I(θ)−1
正定性保证协方差矩阵有效，估计精度可量化。
3. 稳定性与正交性
- 正定矩阵的特征值全正，保证系统（如优化过程）稳定。
- 如果 ( I i j = 0 I_{ij} = 0 Iij=0 )（参数正交），矩阵接近对角形式，正定性更易满足，简化计算。
正定性与"曲率"的联系
Fisher信息矩阵的正定性为何能衡量"参数估计的曲率"？
- 几何意义 ：( x T I x x^T I x xTIx ) 是对数似然函数在 ( θ \theta θ ) 附近曲率的期望。正定说明曲率处处向上，似然函数像一个"碗"，参数估计的"底部"清晰。
- 信息含量：曲率越大（特征值越大），似然对参数变化越敏感，数据提供的信息越多。
例如，( I μ μ = 1 σ 2 I_{\mu\mu} = \frac{1}{\sigma^2} Iμμ=σ21 ) 表明，当 ( σ 2 \sigma^2 σ2 ) 小时，曲率大，( μ \mu μ ) 的估计更精确。
总结
矩阵的正定性和负定性描述了二次型的符号和函数的形状：正定是"正放的碗"，负定是"倒扣的碗"。在Fisher信息矩阵中，正定性源于模型的可识别性，保证了似然函数的局部凸性和参数估计的稳定性。它不仅衡量"曲率"，还为优化和推断提供了理论支撑。下次看到正定矩阵，不妨想想：它在告诉你什么形状的故事？
补充
"碗口向上"是什么意思？
在数学和几何中，当我们说一个矩阵 ( A A A ) 是正定的，意味着它的二次型 ( x T A x x^T A x xTAx ) 对于所有非零向量 ( x x x ) 都是正的（( x T A x > 0 x^T A x > 0 xTAx>0 )）。这可以用一个碗的形状来类比，但这里的"碗"是指一个三维空间中的曲面 ，具体来说是一个抛物面 或椭球面。
- "碗口向上" ：指的是这个曲面在原点（( x = 0 x = 0 x=0 )）处达到最小值（( x T A x = 0 x^T A x = 0 xTAx=0 )），然后随着 ( x x x ) 远离原点，曲面高度（( x T A x x^T A x xTAx )）逐渐增加。这种形状在数学上对应一个凸函数，底部在最低点，像一个正放的碗。
- 几何图像 ：想象一个普通的碗，开口朝天，底部在桌子上的形状。无论你从哪个方向（( x x x ) 的任意方向）离开中心，高度（碗的深度，或 ( x T A x x^T A x xTAx )）都上升。
举个例子
考虑正定矩阵 ( A = [ 1 0 0 1 ] A = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} A=[1001] )：
x T A x = x 1 2 + x 2 2 x^T A x = x_1^2 + x_2^2 xTAx=x12+x22
- 当 ( x = [ 0 , 0 ] x = [0, 0] x=[0,0] ) 时，( x T A x = 0 x^T A x = 0 xTAx=0 )（最低点）。
- 当 ( x = [ 1 , 0 ] x = [1, 0] x=[1,0] ) 时，( x T A x = 1 x^T A x = 1 xTAx=1 )；( x = [ 0 , 2 ] x = [0, 2] x=[0,2] ) 时，( x T A x = 4 x^T A x = 4 xTAx=4 )。
- 这是一个碗口向上的抛物面，底部在原点，向上延伸。
"碗倒扣在桌子上"
"碗倒扣在桌子上的形状"，是一个很自然的联想，但它对应的是负定矩阵，而不是正定矩阵。
- "碗口向下"（负定） ：如果矩阵 ( A A A ) 是负定的，( x T A x < 0 x^T A x < 0 xTAx<0 ) 对所有非零 ( x x x ) 成立。这时，曲面在原点处是最高点（( x T A x = 0 x^T A x = 0 xTAx=0 )），向四周下降，像一个倒扣的碗，或一个"坑"。
- 例子 ：( A = [ − 1 0 0 − 1 ] A = \begin{bmatrix} -1 & 0 \\ 0 & -1 \end{bmatrix} A=[−100−1] )：
x T A x = − x 1 2 − x 2 2 x^T A x = -x_1^2 - x_2^2 xTAx=−x12−x22- ( x = [ 0 , 0 ] x = [0, 0] x=[0,0] ) 时，( x T A x = 0 x^T A x = 0 xTAx=0 )（最高点）。
- ( x = [ 1 , 0 ] x = [1, 0] x=[1,0] ) 时，( x T A x = − 1 x^T A x = -1 xTAx=−1 )；( x = [ 0 , 2 ] x = [0, 2] x=[0,2] ) 时，( x T A x = − 4 x^T A x = -4 xTAx=−4 )。
- 这是一个碗口向下的抛物面，像倒扣的碗。
为什么正定对应"碗口向上"？
在统计和优化中，正定矩阵（如Fisher信息矩阵）常用来描述凸性：
- Fisher信息矩阵 ( I ( θ ) I(\theta) I(θ) ) 正定，表示负对数似然 ( − log p ( x ∣ θ ) -\log p(x|\theta) −logp(x∣θ) ) 在真实参数附近是"碗口向上"的凸函数，存在唯一的最优解。
- "曲率"是指碗的陡峭程度，正定保证曲率正向（向上弯曲），便于优化和估计。
反过来，负定矩阵可能对应最大值问题（如似然函数的最大化），形状是"碗口向下"。
后记
2025年2月25日12点24分于上海，在Grok 3大模型辅助下完成。