KS检验和Lilliefors正态性检验方法

KS正态性检验方法是通过构建样本的cdf,然后和指定的均值和标准差构建的正态分布的cdf比,计算两个cdf的最大绝对距离,如果距离显著大,就说明样本来自的总体不服从正态分布,反之则服从正态分布。 整体的逻辑就是首先假定样本从正态分布中抽出来,然后和对应的正态分布一比,如果距离差异不大,说明就是从正态分布中抽出。(如果直接使用样本的均值和标准差作为总体均值和标准差,可能引入人为的相似性)

Lilliefors方法则不需要知道总体的均值和标准差,只需要样本的均值和标准差就可以了。具体步骤如下:

1.零假设是样本取自正态分布;

2.对样本进行z分数转换;

3.对样本z分数计算cdf,然后和标准正态分布的cdf进行比较,计算最大绝对距离Dreal。

其实这里等同于是先把总体标准化,然后抽样,再算z分数:

μ是总体均值,σ是总体标准差;μx尖就是样本均值,σx尖就是样本标准差。

拿这个分数构建的cdf和从标准正态分布得到的cdf进行比较,就具有可比性。但是毕竟样本的均值和标准差未必代表总体,所以这个z分数的cdf和标准正态分布的cdf肯定有一些偏差。所以就使用蒙特卡洛模拟的方法,把这种偏差引入零模型中,然后将Dreal和零模型得到的D分布进行比较。

4.然后进行蒙特卡洛模拟,每次从标准正态分布中抽样(相当于从一个假定为正态分布,并经过z转换的总体中抽样,和step3一致),然后对样本计算z分数,之后再对样本z分数计算cdf,同样和标准正态分布的cdf进行比较,计算最大绝对距离Dsurr,构建零分布。这里同样存在样本z分数的cdf和标准正态分布的cdf之间的的偏差。

5.看Dreal是否在零分布右侧0.05,如果是就说明显著,反对零假设。

基本的逻辑和KS检验一样的,都是首先假定样本从正态分布中抽出来,和对应正态分布一比,看差异。

参考资料:Lilliefors Test for Normality

相关推荐
benjormin2 分钟前
Java数据结构 二叉搜索树
数据结构·算法
人工智能培训7 分钟前
知识图谱:结构化表达实体与关系的知识组织技术
大数据·人工智能·算法·重构·生活·知识图谱
地平线开发者34 分钟前
QAT 实战:从 PyTorch 模型到 J6E 实板精度与延时验证
pytorch·算法·自动驾驶
IT星宿35 分钟前
github-gravity:用 Rapier2D 把 GitHub 贡献图做成 SVG 物理动画
算法·github
♡すぎ♡1 小时前
SWE 的基本条件
算法·swe·浅水模拟
郝学胜-神的一滴3 小时前
AI 编程智能体 17:四步搞定专属AI智能体
大数据·人工智能·python·神经网络·算法·langchain·强化学习
微尘hjx3 小时前
【StrongSort 03】多轨迹算法StrongSort改进点
人工智能·算法·yolo·视觉检测·ultralytics·strongsort·轨迹算法
梦帮科技3 小时前
QML-04-QGraph-Diff:量子非欧图扩散生成模型与 SE(3) 等变分子晶格逆向合成完整技术指南(上部分)
人工智能·算法·自动化·量子计算·傅里叶分析
七牛开发者3 小时前
TokenGate:端到端可训练的 Token 剪枝机制,让大模型 Prefill 提速 11.3 倍
算法·机器学习·剪枝·长上下文·tokengate