在二维空间中用椭圆表示不确定性
flyfish
py
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.patches import Ellipse
# 生成示例数据
np.random.seed(0)
data = np.random.multivariate_normal([0, 0], [[4, 2], [2, 3]], size=500)
# 计算均值和协方差矩阵
mean = np.mean(data, axis=0)
covariance = np.cov(data, rowvar=False)
# 计算特征值和特征向量
eigvals, eigvecs = np.linalg.eigh(covariance)
# 绘制数据点
fig, ax = plt.subplots()
ax.scatter(data[:, 0], data[:, 1], s=10, alpha=0.5)
# 绘制特征向量
for i in range(len(eigvals)):
eigvec = eigvecs[:, i]
start, end = mean, mean + 2 * np.sqrt(eigvals[i]) * eigvec
ax.annotate('', xy=end, xytext=start,
arrowprops=dict(facecolor='red', width=2.0))
# 绘制协方差椭圆
def plot_covariance_ellipse(mean, cov, ax, color='blue', n_std=2):
eigvals, eigvecs = np.linalg.eigh(cov)
order = eigvals.argsort()[::-1]
eigvals, eigvecs = eigvals[order], eigvecs[:, order]
angle = np.degrees(np.arctan2(*eigvecs[:, 0][::-1]))
width, height = 2 * n_std * np.sqrt(eigvals)
ellipse = Ellipse(xy=mean, width=width, height=height, angle=angle,
edgecolor=color, facecolor='none')
ax.add_patch(ellipse)
plot_covariance_ellipse(mean, covariance, ax, color='blue')
# 设置图表
ax.set_xlim(-10, 10)
ax.set_ylim(-10, 10)
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_title('Data Points, Eigenvectors, and Covariance Ellipse')
plt.grid()
plt.show()
协方差矩阵和椭圆的关系
协方差矩阵 Σ \Sigma Σ 描述了多变量正态分布的形状和方向。在二维情况下,它是一个 2 × 2 2 \times 2 2×2 的矩阵: Σ = ( σ x x σ x y σ x y σ y y ) \Sigma = \begin{pmatrix} \sigma_{xx} & \sigma_{xy} \\ \sigma_{xy} & \sigma_{yy} \end{pmatrix} Σ=(σxxσxyσxyσyy)
特征值和特征向量
-
特征值 : λ 1 \lambda_1 λ1 和 λ 2 \lambda_2 λ2 是协方差矩阵的特征值,它们表示分布在特征向量方向上的方差。
-
特征向量 : v 1 \mathbf{v}_1 v1 和 v 2 \mathbf{v}_2 v2 是协方差矩阵的特征向量,它们表示分布的主要方向。
特征值和特征向量的关系如下:
Σ v i = λ i v i \Sigma \mathbf{v}_i = \lambda_i \mathbf{v}_i Σvi=λivi
其中 v i \mathbf{v}_i vi 是特征向量, λ i \lambda_i λi 是对应的特征值。
椭圆的构造
在二维空间中,椭圆可以表示为:
x T Σ − 1 x = c \mathbf{x}^T \Sigma^{-1} \mathbf{x} = c xTΣ−1x=c
其中 x \mathbf{x} x 是一个二维向量, c c c 是一个常数,通常取决于所选的置信水平。例如,对于95%的置信椭圆, c = χ 0.95 2 ( 2 ) c = \chi^2_{0.95}(2) c=χ0.952(2),这里的 χ 0.95 2 ( 2 ) \chi^2_{0.95}(2) χ0.952(2) 是卡方分布的95%分位数,具有2个自由度。
椭圆的几何解释
-
中心 :椭圆的中心是数据的均值向量 μ \mu μ。
-
轴的方向 :椭圆的主轴方向由协方差矩阵的特征向量决定。
-
轴的长度 :椭圆的轴长度由特征值的平方根决定,长轴为 2 λ 1 2\sqrt{\lambda_1} 2λ1 ,短轴为 2 λ 2 2\sqrt{\lambda_2} 2λ2 。
数学推导
考虑一个二维正态分布,其概率密度函数为:
f ( x ) = 1 2 π ∣ Σ ∣ 1 / 2 exp ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) f(\mathbf{x}) = \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \mu)^T \Sigma^{-1} (\mathbf{x} - \mu)\right) f(x)=2π∣Σ∣1/21exp(−21(x−μ)TΣ−1(x−μ))
在等概率密度下(即椭圆上的点),指数部分是常数:
( x − μ ) T Σ − 1 ( x − μ ) = constant (\mathbf{x} - \mu)^T \Sigma^{-1} (\mathbf{x} - \mu) = \text{constant} (x−μ)TΣ−1(x−μ)=constant
这就是椭圆的方程。
椭圆公式的具体形式
如果协方差矩阵的特征值和特征向量分别为 λ 1 , λ 2 \lambda_1, \lambda_2 λ1,λ2 和 v 1 , v 2 \mathbf{v}_1, \mathbf{v}_2 v1,v2,则椭圆的参数如下:
-
长轴方向 :特征向量 v 1 \mathbf{v}_1 v1
-
短轴方向 :特征向量 v 2 \mathbf{v}_2 v2
-
长轴长度 : 2 λ 1 2 \sqrt{\lambda_1} 2λ1
-
短轴长度 : 2 λ 2 2 \sqrt{\lambda_2} 2λ2
椭圆
-
计算特征值和特征向量 :通过协方差矩阵。
-
确定椭圆的旋转角度 :由主要特征向量的方向决定。
-
确定椭圆的轴长度 :由特征值的平方根决定。