【漫话机器学习系列】208.标准差(Standard Deviation)

​


深入理解标准差:从总体到样本的数学之旅

标准差(Standard Deviation)是统计学中最常用的描述性指标之一,它衡量的是一组数据的离散程度,即数据相对于平均值的波动程度。理解标准差不仅是学习统计的基础,也对数据分析、机器学习、科学研究等领域具有重要意义。

今天我们通过一张极具美感又内容详实的手绘图,来系统性地理解标准差的定义、公式结构及其背后的逻辑。


一、什么是标准差?

标准差的本质是一种"平均偏差的平方根"。它告诉我们数据点通常距离平均值有多远。

  • 若标准差 小:数据点集中在平均值附近,波动性小;
  • 若标准差 大:数据点分散,波动性大。

二、总体标准差(σ)

当我们能获取全部数据(总体)时,计算标准差的公式如下:

σ = 1 n ∑ i = 1 n ( x i − μ ) 2 \sigma = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2} σ=n1∑i=1n(xi−μ)2

从图中可见,这个公式由多个部分构成:

符号 含义 图中说明
σ 总体标准差 标题"标准差"下方公式
n 总体个数 用红色注明"总体个数"
x i x_i xi 第 i 个观测值 用绿色注明"观察值"
μ 总体均值 用橙色注明"总体均值"

总体标准差解释:

  1. 差值:每个观测值减去总体均值,反映偏差。
  2. 平方:避免正负抵消,同时放大偏差。
  3. 求平均:对所有平方后的偏差值求平均。
  4. 开根号:还原单位,得到标准差。

三、样本标准差(S)

在实际生活中,我们往往只能抽取"样本"进行分析。这时,需要使用"样本标准差"公式:

S = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 S = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2} S=n−11∑i=1n(xi−xˉ)2

与总体标准差的差异主要体现在两个地方:

变化部分 含义说明 图中标记
分母为 n-1 贝塞尔修正(Bessel's Correction) 用红色标注"贝塞尔修正"
均值为 x ˉ \bar{x} xˉ 样本均值 橙色箭头标"样本均值"

为什么要减 1(n - 1)?

这就是著名的贝塞尔修正(Bessel's Correction) ,目的是让样本标准差成为总体标准差的无偏估计。因为样本均值 x ˉ \bar{x} xˉ 是从数据中计算出来的,会低估总体的离散程度,所以在分母上减 1 进行校正。


四、标准差 VS 方差

你可能注意到标准差公式中的平方项:

( x i − μ ) 2 (x_i - \mu)^2 (xi−μ)2

其实,这部分没有开根号时的结果就叫"方差(Variance) "。

指标 定义
方差 偏差的平方的平均值
标准差 方差的平方根
单位 方差单位为原单位的平方,标准差单位与原数据一致

五、图中亮点解析

这张由 Chais Albon 绘制的手绘图,将公式进行了颜色区分,帮助我们快速理解各部分含义:

  • 红色:强调了总体/样本数量,以及贝塞尔修正。
  • 绿色 :表示每个观测值 x i x_i xi。
  • 橙色 :表示均值(总体均值 μ 或样本均值 x ˉ \bar{x} xˉ)。
  • 结构清晰:对比两种标准差公式差异,一目了然。

非常适合初学者或复习者作为思维导图或知识卡片使用。


六、小结与应用场景

类型 公式 适用场景
总体标准差 σ = 1 n ∑ ( x i − μ ) 2 \sigma = \sqrt{\frac{1}{n} \sum (x_i - \mu)^2} σ=n1∑(xi−μ)2 拿到全部数据
样本标准差 S = 1 n − 1 ∑ ( x i − x ˉ ) 2 S = \sqrt{\frac{1}{n-1} \sum (x_i - \bar{x})^2} S=n−11∑(xi−xˉ)2 只拿到一部分样本数据

应用领域包括:

  • 数据分析(分析数据波动范围)
  • 金融(测量风险)
  • 机器学习(损失函数、正则化)
  • 工业(产品一致性)

七、结语

标准差不仅是公式,更是一个反映"稳定性"的直观指标。无论是在科研、工程、还是商业决策中,它都扮演着举足轻重的角色。希望通过本文和这张清晰的手绘图,你能真正"看懂"标准差的每一个符号和背后的意义。

相关推荐
LaughingZhu1 分钟前
Product Hunt 热榜 2026-11-01:Specsight、SKI、telemetry.dev
人工智能·深度学习·神经网络·搜索引擎·百度
IT_陈寒4 分钟前
Python项目实战经验分享:为什么你的多进程日志会丢失?
前端·人工智能·后端
蒲公英eric8 分钟前
蒙特卡洛方法:用随机抽样求解确定性问题
人工智能·数学建模·随机抽样·蒙特卡洛方法·数学建模模型
五萝卜9 分钟前
AI 供应链 RAG 安全
人工智能·网络安全·ai编程
星核0penstarry9 分钟前
视频理解模型选型指南:Gemini、Qwen、SeedRealtime 怎么选(附 API 示例)
人工智能·音视频·实时音视频·视频·gemini·vs qwen
golang学习记10 分钟前
比VS Code轻10倍,JetBrains开源全新AI IDE
ide·人工智能·jetbrains·thinkrail
aneasystone本尊10 分钟前
学习大模型训练的预训练工程:框架与 Scaling Law
人工智能
Kari1111 分钟前
Dify多租户架构:从单团队到SaaS化服务
大数据·人工智能·架构
金牛的技术笔记13 分钟前
BERT增量微调实战:冻结BERT,用ChnSentiCorp训练中文情感分类器
人工智能·深度学习·bert
老徐聊GEO14 分钟前
GEO 复测的差分口径:2026 年同批题、同参数、同平台怎么落地
人工智能·geo优化