【知识杂记】方差、标准差、均方误差、均方根误差与平均绝对误差，概念、计算公式、物理意义

统计学中的误差衡量指标：方差、标准差、均方误差、均方根误差与平均绝对误差

方差、标准差：与平均值比较

均方误差（MSE）、均方根误差（RMSE）以及平均绝对误差（MAE）：与真实值比较

1. 方差（Variance）与标准差（Standard Deviation）

方差和标准差是用来衡量数据集离散程度的两个基本统计量，它们描述了数据点围绕平均值（或期望值）的散布情况。

方差（Variance） :

方差反映了每个数据点与平均值距离的平方的平均值。它的公式如下：
σ2=∑(xi−μ)2n \sigma^2 = \frac{\sum (x_i - \mu)^2}{n} σ2=n∑(xi−μ)2

其中，xix_ixi 是数据集中的每个数据点，μ\muμ 是数据集的平均值，而 nnn 是数据点的总数。方差的单位是原始数据单位的平方。
标准差（Standard Deviation） :

标准差是方差的平方根，它将离散程度的度量单位还原为与原始数据相同的单位，因此更具可解释性。
σ=∑(xi−μ)2n=σ2 \sigma = \sqrt{\frac{\sum (x_i - \mu)^2}{n}} = \sqrt{\sigma^2} σ=n∑(xi−μ)2 =σ2

在机器学习中，我们常用方差来衡量模型预测的稳定性。例如，如果一个模型在不同数据集上的预测结果方差很小，说明其预测结果比较稳定。

2. 均方误差（Mean Square Error, MSE）

均方误差是评估回归模型性能最常用的指标之一。它衡量的是模型预测值与真实值之间差异的平方的平均值。

公式 :
MSE=∑(Xpred−Xreal)2n MSE = \frac{\sum (X_{pred} - X_{real})^2}{n} MSE=n∑(Xpred−Xreal)2

其中，XpredX_{pred}Xpred 是模型的预测值，XrealX_{real}Xreal 是真实值，nnn 是样本总数。
特点:
- 惩罚大误差: 由于误差被平方，MSE 对较大的误差（离群点）有更强的惩罚作用。这意味着如果你的模型犯了一个很大的错误，MSE 会显著增加。
- 非线性度量: MSE的单位是原始数据单位的平方，因此不如原始单位那么直观。
- 可微性: 它是可微的，这使得它在许多优化算法（如梯度下降）中作为损失函数非常有效。

3. 均方根误差（Root Mean Square Error, RMSE）

均方根误差是均方误差的平方根。它的引入主要是为了解决MSE单位不一致的问题，使误差的量纲与原始数据保持一致，从而更易于理解和解释。

公式 :
RMSE=MSE=∑(Xpred−Xreal)2n RMSE = \sqrt{MSE} = \sqrt{\frac{\sum (X_{pred} - X_{real})^2}{n}} RMSE=MSE =n∑(Xpred−Xreal)2
特点:
- 单位一致: RMSE的单位与目标变量的单位相同，因此更容易进行直观比较。
- 保留MSE特性: 它依然保留了MSE对大误差的惩罚特性。因此，RMSE对模型中的异常点（outliers）非常敏感。如果数据集中存在一些极端的预测偏差，RMSE会非常大。
- 物理意义 : 常常被类比为物理学中的"L2L_2L2 范数"，因为它基于欧几里得距离。

4. 平均绝对误差（Mean Absolute Error, MAE）

平均绝对误差是另一种重要的回归模型性能指标，它衡量的是模型预测值与真实值之间绝对误差的平均值。

公式 :
MAE=∑∣Xpred−Xreal∣n MAE = \frac{\sum |X_{pred} - X_{real}|}{n} MAE=n∑∣Xpred−Xreal∣
特点:
- 鲁棒性（Robust）: MAE对异常值（outliers）不那么敏感。因为它使用的是绝对值而不是平方，所以大误差不会像在MSE或RMSE中那样被显著放大。这使得它在数据存在较多离群点时是一个更"稳健"的指标。
- 单位一致: MAE的单位也与目标变量的单位相同，易于理解。
- 不可微性 : 在误差为零的点处，MAE的函数不是严格可微的，这在某些优化算法中可能会带来挑战。它通常被类比为"L1L_1L1 范数"。

总结与比较

缩写/符号	中文名称	计算公式	简单原理	物理意义	优点	缺点
sigma2\\sigma^2sigma2	方差 (Variance)	∑(xi−μ)2n\frac{\sum (x_i - \mu)^2}{n}n∑(xi−μ)2	计算每个数据点与均值差异的平方的平均值。	衡量数据集的离散程度或数据的波动性。	理论基础扎实，广泛用于统计学中；可用于衡量模型预测的稳定性。	单位是原始数据单位的平方，不直观；对极端值敏感。
sigma\\sigmasigma	标准差 (Standard Deviation)	∑(xi−μ)2n\sqrt{\frac{\sum (x_i - \mu)^2}{n}}n∑(xi−μ)2	方差的平方根。	衡量数据集的离散程度，与原始数据单位一致。	单位与原始数据相同，更具可解释性；反映了数据点在均值周围的平均散布情况。	仍对极端值敏感。
MSE	均方误差 (Mean Square Error)	∑(Xpred−Xreal)2n\frac{\sum (X_{pred} - X_{real})^2}{n}n∑(Xpred−Xreal)2	计算每个预测值与真实值差异的平方的平均值。	衡量预测值与真实值之间的平均偏离程度。	可微，常作为损失函数用于模型优化；对大误差有强惩罚作用。	单位与原始数据单位不一致；对异常值非常敏感。
RMSE	均方根误差 (Root Mean Square Error)	∑(Xpred−Xreal)2n\sqrt{\frac{\sum (X_{pred} - X_{real})^2}{n}}n∑(Xpred−Xreal)2	均方误差的平方根。	衡量预测值与真实值之间的平均偏离程度，单位与原始数据相同。	单位与原始数据相同，直观易懂；保留了对大误差的惩罚特性。	依然对异常值非常敏感，受其影响大。
MAE	平均绝对误差 (Mean Absolute Error)	`这里放公式会error，具体公式表格下方`	计算每个预测值与真实值差异的绝对值的平均值。	衡量预测值与真实值之间的平均偏离程度，与原始数据单位相同。	对异常值具有鲁棒性（不敏感）；单位与原始数据相同，易于解释。	在零点处不可微，对优化带来挑战；无法有效区分不同程度的误差。

∑∣Xpred−Xreal∣n\frac{\sum |X_{pred} - X_{real}|}{n}n∑∣Xpred−Xreal∣