线性代数核心概念：正定矩阵、合同矩阵与正交矩阵

引言

在线性代数中，正定矩阵、合同矩阵和正交矩阵是三个关键概念，它们在数学理论和应用领域中扮演着重要角色。本文将系统性地总结这些概念的定义、性质以及相互关系，并探讨实对称矩阵的特殊性质。

1. 正定矩阵

定义

一个 n×nn \times nn×n 的实对称矩阵 AAA 称为正定矩阵，如果对于任意非零向量 x∈Rn\mathbf{x} \in \mathbb{R}^nx∈Rn，都有：xTAx>0{x}^T A {x} > 0xTAx>0

对于复数域，厄米特矩阵 AAA（满足 AH=AA^H = AAH=A）是正定的，如果对任意非零向量 z∈Cn\mathbf{z} \in \mathbb{C}^nz∈Cn，有 zHAz>0\mathbf{z}^H A \mathbf{z} > 0zHAz>0。

性质与等价条件

正定矩阵具有以下重要性质，其中许多可互相等价：

特征值全为正实数
行列式为正 ：det⁡(A)>0\det(A) > 0det(A)>0
各阶顺序主子式为正（Sylvester准则）
可逆且逆矩阵也正定
可进行Cholesky分解 ：A=LLTA = LL^TA=LLT，其中 LLL 为下三角矩阵且对角元为正
与单位矩阵合同 ：存在可逆矩阵 PPP，使得 A=PTPA = P^T PA=PTP
主对角线元素全为正
正定矩阵的和仍为正定

几何意义

正定矩阵对应的二次型 xTAx\mathbf{x}^T A \mathbf{x}xTAx 在非零向量上恒正，其等值面 xTAx=1\mathbf{x}^T A \mathbf{x} = 1xTAx=1 是一个椭球面。在优化中，正定Hessian矩阵保证严格局部极小值。

2. 合同矩阵

定义

两个 n×nn \times nn×n 的实对称矩阵 AAA 和 BBB 称为合同的，如果存在可逆矩阵 PPP，使得：

B = P\^T A P.

对于复矩阵，合同定义为 B=PHAPB = P^H A PB=PHAP，其中 A,BA, BA,B 为厄米特矩阵。

核心定理：惯性定理

西尔维斯特惯性定理指出，实对称矩阵在合同变换下，其惯性指数 (p,q,r)(p, q, r)(p,q,r) 保持不变：

ppp：正特征值个数
qqq：负特征值个数
rrr：零特征值个数（r=n−rank(A)r = n - \text{rank}(A)r=n−rank(A)）

因此，两实对称矩阵合同当且仅当它们有相同的惯性指数。

合同 vs 相似

相似：B=P−1APB = P^{-1} A PB=P−1AP，要求特征值完全相同（包括重数）
合同：B=PTAPB = P^T A PB=PTAP，只要求惯性指数相同

对于实对称矩阵，相似必合同，但合同未必相似 。例如 diag(1,1)\text{diag}(1,1)diag(1,1) 与 diag(4,1)\text{diag}(4,1)diag(4,1) 合同但不相似。

3. 实对称矩阵的特征向量正交性

定理

实对称矩阵不同特征值对应的特征向量必正交。

证明概要

设 Av1=λ1v1A\mathbf{v}_1 = \lambda_1 \mathbf{v}_1Av1=λ1v1，Av2=λ2v2A\mathbf{v}_2 = \lambda_2 \mathbf{v}_2Av2=λ2v2，且 λ1≠λ2\lambda_1 \neq \lambda_2λ1=λ2。利用 AT=AA^T = AAT=A 可得：

\\lambda_2 \\mathbf{v}_1\^T \\mathbf{v}_2 = \\lambda_1 \\mathbf{v}_1\^T \\mathbf{v}_2,

因此 (λ2−λ1)v1Tv2=0(\lambda_2 - \lambda_1) \mathbf{v}_1^T \mathbf{v}_2 = 0(λ2−λ1)v1Tv2=0，推出 v1Tv2=0\mathbf{v}_1^T \mathbf{v}_2 = 0v1Tv2=0，即正交。

意义

该性质是谱定理 的基础：任何实对称矩阵都可被正交矩阵对角化，即存在正交矩阵 QQQ 使 QTAQ=ΛQ^T A Q = \LambdaQTAQ=Λ（对角矩阵）。

4. 正交矩阵

定义

实方阵 PPP 称为正交矩阵，如果：

P\^T P = P P\^T = I,

即 PT=P−1P^T = P^{-1}PT=P−1。

名称由来

正交矩阵的列向量（及行向量）构成标准正交基 ：彼此正交且长度为1。设 P= $p1,...,pn$ P = $\\mathbf{p}_1, \\ldots, \\mathbf{p}_n$ P= $p1,...,pn$ ，则：

\\mathbf{p}_i \\cdot \\mathbf{p}*j = \\delta* {ij}.

因此"正交矩阵"得名于其列向量的正交性。

常见混淆澄清

向量正交 ：两个向量 u,v\mathbf{u}, \mathbf{v}u,v 正交指 u⋅v=0\mathbf{u} \cdot \mathbf{v} = 0u⋅v=0
正交矩阵 ：矩阵 PPP 满足 PTP=IP^T P = IPTP=I，而非 PTP=0P^T P = 0PTP=0

性质

保持内积和长度：(Px)⋅(Py)=x⋅y(P\mathbf{x}) \cdot (P\mathbf{y}) = \mathbf{x} \cdot \mathbf{y}(Px)⋅(Py)=x⋅y
行列式为 ±1\pm 1±1
对应旋转或反射变换

总结

正定矩阵、合同矩阵和正交矩阵是线性代数的支柱概念：

正定矩阵刻画了二次型的正定性，与凸优化紧密相关
合同矩阵描述了二次型在可逆线性替换下的等价类，由惯性指数完全分类
正交矩阵代表了保持内积的线性变换，常用于坐标变换和数值稳定算法

实对称矩阵的特征向量正交性则连接了这些概念，确保了实对称矩阵可正交对角化，为许多理论（如主成分分析）提供了数学基础。

理解这些概念及其相互关系，对于深入掌握线性代数及其在科学计算、机器学习等领域的应用至关重要。