《机器学习数学基础》补充资料:描述性统计

《机器学习数学基础》第 6 章介绍了数理统计,其主要内容如下:

就统计学而言,除了上述内容之外,平时还会用到一些描述性统计的知识。为此,本文补充一些描述性统计的基本知识。

用样本估计总体分布 [ 1 ] ^{[1]} [1]

频率分布表

先将数据从小到大排列,然后将排列后的数据分段,每段中的数据被称为一组,故分段也称为分组

设样本量 n n n ,分组经验公式: K = 1 + 4 lg ⁡ ( n ) K=1+4\lg{(n)} K=1+4lg(n) ,分成 K K K 组。

然后计算每组的发生次数和发生频率。

频率分布直方图

直方图在1895年由英国统计学家皮尔逊首先使用。

计算数据落入各组的频率 f i f_i fi ,将隔断的端点在直角坐标系横轴标出,用 g i = f i 本段区间长度 g_i=\frac{f_i}{本段区间长度} gi=本段区间长度fi 作为纵坐标的高度,就得到了由相连接长方形构成的图像,即频率分布直方图,简称直方图(histogram)。

利用matplotlib等Python中的数据可视化库,能够绘制直方图,请参阅《跟老齐学Python:数据分析》

频率折线图

用 d 1 , ⋯   , d k d_1, \cdots, d_k d1,⋯,dk 表示频率分布直方图中各矩形上边的中点,在直方图的左边延长出一个分段,其重点用 d 0 d_0 d0 表示;在右边延长出一个分段,其重点用 d k + 1 d_{k+1} dk+1 表示。将 d 0 , d 1 , ⋯   , d k , d k + 1 d_0,d_1,\cdots,d_k,d_{k+1} d0,d1,⋯,dk,dk+1 用折线链接,得到了频率折线图。频率折线图也反映出数据频率的分布规律。

说明: 在经典统计学中,由于统计手段的限制,统计图的数量有限。如果使用 matplotlib、seaborn等 Python 语言的库,可以绘制出更多的统计图 [ 2 ] ^{[2]} [2]。

众数和中位数

众数和中位数,是两个代表数据特征的统计量。

众数

观测数据中出现次数最多的数是众数 (mode),用 M 0 M_0 M0 表示。

如果观测数据中每个数出现的次数都相同,则无众数;若有两个或以上的数出现次数相同,且超过其他数的出现次数,则这几个数都是众数。

众数受数据中极大或极小值的变化影响较小,出现的频率最高。

在统计学中,将数据中最大值和最小值的差,称为级差

python 复制代码
a = np.array([[6, 8, 3, 0],
              [3, 2, 1, 7],
              [8, 1, 8, 4],
              [5, 3, 0, 5],
              [4, 7, 5, 9]])

# 统计数据中的众数
from scipy import stats
stats.mode(a)

# 输出
ModeResult(mode=array([[3, 1, 0, 0]]), count=array([[1, 1, 1, 1]]))

中位数

设观测数据已经从小到大排列为 x 1 ≤ x 2 ≤ ⋯ ≤ x n x_1\le x_2\le\cdots\le x_n x1≤x2≤⋯≤xn :

  1. 样本量 n n n 为奇数,称中间的数据是中位数 (median),记作 M d M_d Md 。

    M d = x m , m = n + 1 2 M_d=x_m, ~m=\frac{n+1}{2} Md=xm, m=2n+1

  2. 样本量 n n n 为偶数,称中间两个数据的平均值是中位数:

    M d = x m + x m + 1 2 , m = n 2 M_d=\frac{x_m+x_{m+1}}{2}, m=\frac{n}{2} Md=2xm+xm+1,m=2n

python 复制代码
a = np.array([[10, 7, 4], [3, 2, 1]])
a
# 输出
array([[10,  7,  4],
       [ 3,  2,  1]])

# 计算全部数据的中位数
np.median(a)
# 输出
3.5

# 计算0轴方向的中位数
np.median(a, axis=0)
# 输出
array([6.5, 4.5, 2.5])

# 计算1周方向的中位数
np.median(a, axis=1)
# 输出
array([7.,  2.])

此外,在Pandas中提供了DataFrame对象的方法describe(),能够得到数据的常用统计量,详情参阅参考文献[2]。

参考文献

1\]. 何书元. 数理统计\[M\]. 北京:高等教育出版社. 2012.1,第1版 \[2\]. 齐伟. 跟老齐学Python:数据分析\[M\]. 北京:电子工业出版社.

相关推荐
UMI赋能企业30 分钟前
企业视频库管理高效策略
大数据·人工智能
一念&2 小时前
今日科技热点 | AI加速变革,量子计算商用化,5G应用新机遇
人工智能·科技·量子计算
严文文-Chris2 小时前
【GPT-5 与 GPT-4 的主要区别?】
人工智能·gpt
过往入尘土3 小时前
计算机视觉:从 “看见” 到 “理解”,解锁机器感知世界的密码
人工智能
飞哥数智坊4 小时前
别再组团队了,AI时代一个人就能创业
人工智能·创业
严文文-Chris4 小时前
GPT5的Test-time compute(测试时计算)是什么?
人工智能
Java中文社群5 小时前
白嫖ClaudeCode秘籍大公开!超详细
人工智能·后端
MicrosoftReactor5 小时前
技术速递|使用 AI 应用模板扩展创建一个 .NET AI 应用与自定义数据进行对话
人工智能·.net
boooo_hhh5 小时前
第41周——人脸图像生成
机器学习