《机器学习数学基础》补充资料:描述性统计

《机器学习数学基础》第 6 章介绍了数理统计,其主要内容如下:

就统计学而言,除了上述内容之外,平时还会用到一些描述性统计的知识。为此,本文补充一些描述性统计的基本知识。

用样本估计总体分布 [ 1 ] ^{[1]} [1]

频率分布表

先将数据从小到大排列,然后将排列后的数据分段,每段中的数据被称为一组,故分段也称为分组

设样本量 n n n ,分组经验公式: K = 1 + 4 lg ⁡ ( n ) K=1+4\lg{(n)} K=1+4lg(n) ,分成 K K K 组。

然后计算每组的发生次数和发生频率。

频率分布直方图

直方图在1895年由英国统计学家皮尔逊首先使用。

计算数据落入各组的频率 f i f_i fi ,将隔断的端点在直角坐标系横轴标出,用 g i = f i 本段区间长度 g_i=\frac{f_i}{本段区间长度} gi=本段区间长度fi 作为纵坐标的高度,就得到了由相连接长方形构成的图像,即频率分布直方图,简称直方图(histogram)。

利用matplotlib等Python中的数据可视化库,能够绘制直方图,请参阅《跟老齐学Python:数据分析》

频率折线图

用 d 1 , ⋯   , d k d_1, \cdots, d_k d1,⋯,dk 表示频率分布直方图中各矩形上边的中点,在直方图的左边延长出一个分段,其重点用 d 0 d_0 d0 表示;在右边延长出一个分段,其重点用 d k + 1 d_{k+1} dk+1 表示。将 d 0 , d 1 , ⋯   , d k , d k + 1 d_0,d_1,\cdots,d_k,d_{k+1} d0,d1,⋯,dk,dk+1 用折线链接,得到了频率折线图。频率折线图也反映出数据频率的分布规律。

说明: 在经典统计学中,由于统计手段的限制,统计图的数量有限。如果使用 matplotlib、seaborn等 Python 语言的库,可以绘制出更多的统计图 [ 2 ] ^{[2]} [2]。

众数和中位数

众数和中位数,是两个代表数据特征的统计量。

众数

观测数据中出现次数最多的数是众数 (mode),用 M 0 M_0 M0 表示。

如果观测数据中每个数出现的次数都相同,则无众数;若有两个或以上的数出现次数相同,且超过其他数的出现次数,则这几个数都是众数。

众数受数据中极大或极小值的变化影响较小,出现的频率最高。

在统计学中,将数据中最大值和最小值的差,称为级差

python 复制代码
a = np.array([[6, 8, 3, 0],
              [3, 2, 1, 7],
              [8, 1, 8, 4],
              [5, 3, 0, 5],
              [4, 7, 5, 9]])

# 统计数据中的众数
from scipy import stats
stats.mode(a)

# 输出
ModeResult(mode=array([[3, 1, 0, 0]]), count=array([[1, 1, 1, 1]]))

中位数

设观测数据已经从小到大排列为 x 1 ≤ x 2 ≤ ⋯ ≤ x n x_1\le x_2\le\cdots\le x_n x1≤x2≤⋯≤xn :

  1. 样本量 n n n 为奇数,称中间的数据是中位数 (median),记作 M d M_d Md 。

    M d = x m , m = n + 1 2 M_d=x_m, ~m=\frac{n+1}{2} Md=xm, m=2n+1

  2. 样本量 n n n 为偶数,称中间两个数据的平均值是中位数:

    M d = x m + x m + 1 2 , m = n 2 M_d=\frac{x_m+x_{m+1}}{2}, m=\frac{n}{2} Md=2xm+xm+1,m=2n

python 复制代码
a = np.array([[10, 7, 4], [3, 2, 1]])
a
# 输出
array([[10,  7,  4],
       [ 3,  2,  1]])

# 计算全部数据的中位数
np.median(a)
# 输出
3.5

# 计算0轴方向的中位数
np.median(a, axis=0)
# 输出
array([6.5, 4.5, 2.5])

# 计算1周方向的中位数
np.median(a, axis=1)
# 输出
array([7.,  2.])

此外,在Pandas中提供了DataFrame对象的方法describe(),能够得到数据的常用统计量,详情参阅参考文献[2]。

参考文献

[1]. 何书元. 数理统计[M]. 北京:高等教育出版社. 2012.1,第1版

[2]. 齐伟. 跟老齐学Python:数据分析[M]. 北京:电子工业出版社.

相关推荐
金智维科技官方10 分钟前
如何结合NLP(自然语言处理)技术提升OCR系统的语义理解和上下文感知能力?
人工智能·自然语言处理·ocr
arbboter11 分钟前
【AI深度学习基础】Pandas完全指南进阶篇:解锁高效数据处理高阶技能 (含完整代码)
人工智能·深度学习·pandas高级技巧·数据处理性能优化·pandas机器学习整合·时间序列分析实战·数据清洗正则表达式
zxfeng~14 分钟前
深度学习之-“深入理解梯度下降”
人工智能·python·深度学习·神经网络
Yeats_Liao18 分钟前
华为开源自研AI框架昇思MindSpore应用案例:基于MindSpore框架实现one-stage目标检测模型SSD
人工智能·目标检测·计算机视觉
天天向上杰20 分钟前
浅浅初识AI、AI大模型、AGI
人工智能·ai·agi·ai大模型·ai算法
美狐美颜sdk21 分钟前
美颜SDK架构揭秘:人脸美型API的底层实现与优化策略
图像处理·人工智能·深度学习·架构·视频美颜sdk·美颜api
没有不重的名么24 分钟前
摄相机标定的基本原理
人工智能·数码相机·计算机视觉
LeeZhao@42 分钟前
【AGI】智谱开源2025:一场AI技术民主化的革命正在到来
人工智能·开源·aigc·语音识别·agi
个推技术1 小时前
个推助力小米米家全场景智能生活体验再升级
人工智能
科技快报1 小时前
中兴移动互联终端三剑齐发 AI、5G-A、WiFi7构建高效智能网络
网络·人工智能·5g