KS检验和Lilliefors正态性检验方法

KS正态性检验方法是通过构建样本的cdf,然后和指定的均值和标准差构建的正态分布的cdf比,计算两个cdf的最大绝对距离,如果距离显著大,就说明样本来自的总体不服从正态分布,反之则服从正态分布。 整体的逻辑就是首先假定样本从正态分布中抽出来,然后和对应的正态分布一比,如果距离差异不大,说明就是从正态分布中抽出。(如果直接使用样本的均值和标准差作为总体均值和标准差,可能引入人为的相似性)

Lilliefors方法则不需要知道总体的均值和标准差,只需要样本的均值和标准差就可以了。具体步骤如下:

1.零假设是样本取自正态分布;

2.对样本进行z分数转换;

3.对样本z分数计算cdf,然后和标准正态分布的cdf进行比较,计算最大绝对距离Dreal。

其实这里等同于是先把总体标准化,然后抽样,再算z分数:

μ是总体均值,σ是总体标准差;μx尖就是样本均值,σx尖就是样本标准差。

拿这个分数构建的cdf和从标准正态分布得到的cdf进行比较,就具有可比性。但是毕竟样本的均值和标准差未必代表总体,所以这个z分数的cdf和标准正态分布的cdf肯定有一些偏差。所以就使用蒙特卡洛模拟的方法,把这种偏差引入零模型中,然后将Dreal和零模型得到的D分布进行比较。

4.然后进行蒙特卡洛模拟,每次从标准正态分布中抽样(相当于从一个假定为正态分布,并经过z转换的总体中抽样,和step3一致),然后对样本计算z分数,之后再对样本z分数计算cdf,同样和标准正态分布的cdf进行比较,计算最大绝对距离Dsurr,构建零分布。这里同样存在样本z分数的cdf和标准正态分布的cdf之间的的偏差。

5.看Dreal是否在零分布右侧0.05,如果是就说明显著,反对零假设。

基本的逻辑和KS检验一样的,都是首先假定样本从正态分布中抽出来,和对应正态分布一比,看差异。

参考资料:Lilliefors Test for Normality

相关推荐
不会武功不懂江湖2 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
Zwawa3 小时前
卡尔曼到底在算什么:从一维到它的变式以及工程版卡尔曼滤波算法C语言实现
c语言·算法·嵌入式
电科_银尘3 小时前
【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入
算法·embedding
饮水桶_T4 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
地平线开发者7 小时前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~8 小时前
SHA-256 哈希去重
算法·哈希算法
风落青芜11 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
青少儿编程课堂12 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
ashiho1 天前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口