【漫话机器学习系列】208.标准差(Standard Deviation)


深入理解标准差:从总体到样本的数学之旅

标准差(Standard Deviation)是统计学中最常用的描述性指标之一,它衡量的是一组数据的离散程度,即数据相对于平均值的波动程度。理解标准差不仅是学习统计的基础,也对数据分析、机器学习、科学研究等领域具有重要意义。

今天我们通过一张极具美感又内容详实的手绘图,来系统性地理解标准差的定义、公式结构及其背后的逻辑。


一、什么是标准差?

标准差的本质是一种"平均偏差的平方根"。它告诉我们数据点通常距离平均值有多远。

  • 若标准差 :数据点集中在平均值附近,波动性小;
  • 若标准差 :数据点分散,波动性大。

二、总体标准差(σ)

当我们能获取全部数据(总体)时,计算标准差的公式如下:

<math xmlns="http://www.w3.org/1998/Math/MathML"> σ = 1 n ∑ i = 1 n ( x i − μ ) 2 \sigma = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2} </math>σ=n1∑i=1n(xi−μ)2

从图中可见,这个公式由多个部分构成:

符号 含义 图中说明
σ 总体标准差 标题"标准差"下方公式
n 总体个数 用红色注明"总体个数"
<math xmlns="http://www.w3.org/1998/Math/MathML"> x i x_i </math>xi 第 i 个观测值 用绿色注明"观察值"
μ 总体均值 用橙色注明"总体均值"

总体标准差解释:

  1. 差值:每个观测值减去总体均值,反映偏差。
  2. 平方:避免正负抵消,同时放大偏差。
  3. 求平均:对所有平方后的偏差值求平均。
  4. 开根号:还原单位,得到标准差。

三、样本标准差(S)

在实际生活中,我们往往只能抽取"样本"进行分析。这时,需要使用"样本标准差"公式:

<math xmlns="http://www.w3.org/1998/Math/MathML"> S = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 S = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2} </math>S=n−11∑i=1n(xi−xˉ)2

与总体标准差的差异主要体现在两个地方:

变化部分 含义说明 图中标记
分母为 n-1 贝塞尔修正(Bessel's Correction) 用红色标注"贝塞尔修正"
均值为 <math xmlns="http://www.w3.org/1998/Math/MathML"> x ˉ \bar{x} </math>xˉ 样本均值 橙色箭头标"样本均值"

为什么要减 1(n - 1)?

这就是著名的贝塞尔修正(Bessel's Correction) ,目的是让样本标准差成为总体标准差的无偏估计。因为样本均值 <math xmlns="http://www.w3.org/1998/Math/MathML"> x ˉ \bar{x} </math>xˉ 是从数据中计算出来的,会低估总体的离散程度,所以在分母上减 1 进行校正。


四、标准差 VS 方差

你可能注意到标准差公式中的平方项:

<math xmlns="http://www.w3.org/1998/Math/MathML"> ( x i − μ ) 2 (x_i - \mu)^2 </math>(xi−μ)2

其实,这部分没有开根号时的结果就叫"方差(Variance) "。

指标 定义
方差 偏差的平方的平均值
标准差 方差的平方根
单位 方差单位为原单位的平方,标准差单位与原数据一致

五、图中亮点解析

这张由 Chais Albon 绘制的手绘图,将公式进行了颜色区分,帮助我们快速理解各部分含义:

  • 红色:强调了总体/样本数量,以及贝塞尔修正。
  • 绿色 :表示每个观测值 <math xmlns="http://www.w3.org/1998/Math/MathML"> x i x_i </math>xi。
  • 橙色 :表示均值(总体均值 μ 或样本均值 <math xmlns="http://www.w3.org/1998/Math/MathML"> x ˉ \bar{x} </math>xˉ)。
  • 结构清晰:对比两种标准差公式差异,一目了然。

非常适合初学者或复习者作为思维导图或知识卡片使用。


六、小结与应用场景

类型 公式 适用场景
总体标准差 <math xmlns="http://www.w3.org/1998/Math/MathML"> σ = 1 n ∑ ( x i − μ ) 2 \sigma = \sqrt{\frac{1}{n} \sum (x_i - \mu)^2} </math>σ=n1∑(xi−μ)2 拿到全部数据
样本标准差 <math xmlns="http://www.w3.org/1998/Math/MathML"> S = 1 n − 1 ∑ ( x i − x ˉ ) 2 S = \sqrt{\frac{1}{n-1} \sum (x_i - \bar{x})^2} </math>S=n−11∑(xi−xˉ)2 只拿到一部分样本数据

应用领域包括:

  • 数据分析(分析数据波动范围)
  • 金融(测量风险)
  • 机器学习(损失函数、正则化)
  • 工业(产品一致性)

七、结语

标准差不仅是公式,更是一个反映"稳定性"的直观指标。无论是在科研、工程、还是商业决策中,它都扮演着举足轻重的角色。希望通过本文和这张清晰的手绘图,你能真正"看懂"标准差的每一个符号和背后的意义。

相关推荐
聆风吟º43 分钟前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
uesowys1 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_56781 小时前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws
User_芊芊君子1 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
智驱力人工智能2 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
qq_160144872 小时前
亲测!2026年零基础学AI的入门干货,新手照做就能上手
人工智能
Howie Zphile2 小时前
全面预算管理难以落地的核心真相:“完美模型幻觉”的认知误区
人工智能·全面预算
人工不智能5772 小时前
拆解 BERT:Output 中的 Hidden States 到底藏了什么秘密?
人工智能·深度学习·bert
盟接之桥2 小时前
盟接之桥说制造:引流品 × 利润品,全球电商平台高效产品组合策略(供讨论)
大数据·linux·服务器·网络·人工智能·制造
kfyty7252 小时前
集成 spring-ai 2.x 实践中遇到的一些问题及解决方案
java·人工智能·spring-ai