统计学9——分类数据统计

知识结构

内容精读

1.分类数据与\\chi\^2统计量

分类数据在第一章已经进行了详细介绍,就是对数据进行分类的结果,特征是,调查结果虽然用数值表示,但不同数值描述了调查对象的不同特征。由此分类数据的结果是频数,而\\chi\^2检验是对频数进行分析的统计分析方法

\\chi\^2统计量作为三大统计量之一,可以用于测定两个分类变量间的相关程度。

\\chi\^2=\\sigma\\frac{(f_{0}-f_{e})\^2}{f_{2}}

其中f_{0}表示观察值频数,f_{2}表示期望值频数

\\chi\^2统计量描述了观察值与期望值的接近程度,两者越接近,\\chi\^2就越小。

2.拟合优度检验

拟合优度检验是用\\chi\^2统计量进行统计的显著性检验的一个重要内容。依据总体分布状况,计算出分类变量中各类别的期望频数,与观察频数进行对比,判断期望频数与观察频数是否有显著差异。

拟合优度检验的一般步骤如下:

  • 计算f_{0}-f_{e}
  • 计算(f_{0}-f_{e})\^2
  • 计算(f_{0}-f_{e})\^2/f_{e}
  • 计算\\chi\^2
  • \\chi\^2_{\\alpha}(R-1)进行比较,若\\chi\^2\>\\chi\^2_{\\alpha}(R-1),则认为观察频数与期望频数有显著差异。说明选取的分类特征对研究问题是有影响的。

3.独立性检验

拟合优度是对一个变量的检验,有时候我们也会遇到变量数不唯一的问题,比如研究两个变量间是否存在联系。这种对两个变量的研究又称为独立性检验,通常借助列联表进行性展示。

所谓列联表就是将两个或以上的变量进行交叉分类的频数分布表。

|----|-----|-----|-----|-----|
| 地区 | 一级 | 二级 | 三级 | 合计 |
| 甲 | 52 | 64 | 24 | 140 |
| 乙 | 60 | 59 | 52 | 171 |
| 丙 | 50 | 65 | 74 | 189 |
| 合计 | 162 | 188 | 150 | 500 |

上面就是一个3×3的二维列联表,三个地区与三个等级间相互交叉。

针对上面的列联表,独立性检验就是检查地区与等级之间是否有关联。

计算方法与拟合优度相同,都需要构建\\chi\^2统计量。只是对于列联表中每个单位的期望频数采用f_{e}=\\frac{RT×CT}{n},RT、CT分别为单元所在行、列的合计值。\\chi\^2统计量的自由度df=(R-1)(C-1),若\\chi\^2\>\\chi\^2_{\\alpha}{(R-1)(C-1)},则拒绝原假设,认为两变量间不是相互独立的。

4.相关性检验

前面的独立性检验只是判断两个变量是否存在联系,那么如果存在联系,联系的程度又是怎样的呢?这时候就需要进行相关性检验。

\\varphi 相关系数

\\varphi=\\sqrt{\\chi\^2/n}

是列联表中最常用的一种相关系数。\\varphi的值应该在0-1之间,当两个变量相互独立时,\\varphi=0\\varphi=1 或 \\varphi=-1时是两个变量完全相关的一种情况。\\varphi的绝对值越大,就说明变量的相关程度越高。

ps:

当列联表的行或列大于2时,\\varphi会随着行列的变大而变大,且没有上限,这时使用\\varphi测定相关程度就不够清晰了。

c相关系数

c=\\sqrt{\\frac{\\chi\^2}{\\chi\^2+n}}

c系数主要用于列联表大于2×2的情况。同样当两个变量相互独立式c=0,并且它不会大于1。c系数的最大值依赖于列联表的行数和列数,且随着R和C的增大而增大,因此根据不同的行和列计算的列联系数不便于比较。但因其计算简便,且对总体分布没有要求,在实际的使用较为广泛。

V相关系数

V=\\sqrt{\\frac {\\chi\^2} {n×min\[(R-1),(C-1)\]} }

跟前两个系数相同的是,当两变量相互独立时,V也等于0,此外当两变量完全相关V=1,对于行列中一个维度为2时,V系数的值就等于\\varphi系数

以上三种相关系数均是实际中常用的相关性检验的方法,但需要注意的时,使用时要注意列联表的行列数和是否是一个相关系数,只有相同行列个数的列联表,并且采用同一种系数,这样的比较才是有意义的。

5.\\chi\^2分布的期望值准则

在使用\\chi\^2分布进行独立性检验是,样本量必须足够大,否则可能会出现错误,有这样两条准则:

  • 如果只有两个单元,每个单元的期望频数必须大于等于5.
  • 如果有两个以上单元,20%的单元的期望频数小于5,则不能使用\\chi\^2检验。

名词解释

拟合优度检验

是用x2统计量进行统计显著性检验的重要内容之一。它是依据总体分布状况,计算出分类变量中各类别的期望频数,与分布的观察频数进行对比,判断期望频数与观察频数是否有显著性差异,从而达到对分类变量进行分析的目的。

列联独立性检验

独立性检验是对两个分类变量的分析,分析列联表中行变量和列变量是否相互独立。

相关推荐
uesowys4 分钟前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_56784 分钟前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws
User_芊芊君子6 分钟前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
智驱力人工智能1 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
qq_160144871 小时前
亲测!2026年零基础学AI的入门干货,新手照做就能上手
人工智能
Howie Zphile1 小时前
全面预算管理难以落地的核心真相:“完美模型幻觉”的认知误区
人工智能·全面预算
人工不智能5771 小时前
拆解 BERT:Output 中的 Hidden States 到底藏了什么秘密?
人工智能·深度学习·bert
盟接之桥1 小时前
盟接之桥说制造:引流品 × 利润品,全球电商平台高效产品组合策略(供讨论)
大数据·linux·服务器·网络·人工智能·制造
kfyty7251 小时前
集成 spring-ai 2.x 实践中遇到的一些问题及解决方案
java·人工智能·spring-ai
h64648564h1 小时前
CANN 性能剖析与调优全指南:从 Profiling 到 Kernel 级优化
人工智能·深度学习