做数据分析为何要学统计学(2)——如何估计总体概率分布

我们可以通过手头掌握的样本来估计总体的概率分布。这个过程由以下步骤组成。

第一步,我们采用Seaborn软件的histplot函数建立核密度图(一种概率密度图)。

复制代码
import numpy as np
#输入样本数据
x=np.array([2.12906357, 0.72736725, 1.05152821, 0.48600398, 1.91963227,
        1.62165678, 8.86319952, 0.24399412, 4.19883103, 2.80846683,
        1.34644303, 0.35146917, 1.7575424 , 3.90572887, 1.07404978,
        4.05247124, 0.65839571, 0.40166037, 2.03241598, 0.53592929])
import seaborn as sns
#kde=True会绘制概率密度曲线,否则只有直方图
sns.histplot(x,kde=True)

第二步,确定几个与之相近的候选概率分布(一般3个左右)。从上图来看,可以选择卡方分布、指数分布、伽玛分布。

第三步,分布拟合这三个候选分布的参数,并使用拟合得出的分布参数检验每一个候选分布

复制代码
import scipy.stats as stats
#构造候选分布集合
dists={'expon':stats.expon,'chi2':stats.chi2,'gamma':stats.gamma}

for dist in dists:
    #拟合每一个分布
    params=dists[dist].fit(x)
    #检验每一个分布
    test=stats.kstest(x,dists[dist].cdf,params)
    print(dist,test.pvalue,params)

第四步,选择p值(每一个值)最大的作为检验结果

复制代码
expon 0.9001 (0.016, 1.91)
chi2  0.3800 (1.78, 0.016, 1.37)
gamma 0.8080 (0.94, 0.016, 1.95)

从以上数据可以看出,样本最大可能是参数的指数分布。而事实上,原始样本确实是以生成的随机数样本

相关推荐
Monkey的自我迭代34 分钟前
Python标准库:时间与随机数全解析
前端·python·数据挖掘
kngines1 小时前
【力扣(LeetCode)】数据挖掘面试题0003: 356. 直线镜像
leetcode·数据挖掘·直线镜像·对称轴
Menger_Wen1 小时前
分析新旧因子相关性
python·机器学习·区块链
优乐美香芋味好喝3 小时前
2025年7月8日学习笔记——模式识别与机器学习绪论
笔记·学习·机器学习
大千AI助手4 小时前
陶哲轩:数学界的莫扎特与跨界探索者
人工智能·数学·机器学习·概率·人物·天才·陶哲轩
代码老y5 小时前
数据挖掘:从理论到实践的深度探索
人工智能·数据挖掘
DAWN_T176 小时前
Python编译器(Pycharm Jupyter)
python·机器学习·jupyter·pycharm
九章云极AladdinEdu6 小时前
冷冻电镜重构的GPU加速破局:从Relion到CryoSPARC的并行重构算法
人工智能·pytorch·深度学习·机器学习·自然语言处理·架构·gpu算力
kngines6 小时前
【字节跳动】数据挖掘面试题0012:数据分析、数据挖掘、数据建模的区别
数据挖掘·数据分析·面试题·数据建模
华科云商xiao徐7 小时前
Julia爬取数据能力及应用场景
爬虫·数据挖掘·数据分析