数据分析之统计学基础

数据分析是现代企业和科研中不可或缺的一部分,而统计学是数据分析的基石。在本篇博客中,我们将介绍统计学的基础知识,涵盖数据类型、描述性统计(集中趋势、离散程度和偏差程度),并通过代码实例加以说明。

一、数据三大类型

在统计分析中,数据通常分为三大类型:分类数据、顺序数据和数值数据。

1. 分类数据

分类数据是指那些可以分为不同类别的数据,但这些类别之间没有内在顺序。例如:性别(男、女)、颜色(红、绿、蓝)。

2. 顺序数据

顺序数据是指可以排序的数据,但不同类别之间的差异不能被量化。例如:评级(好、中、差),满意度(非常满意、满意、不满意)。

3. 数值数据

数值数据是指可以量化并具有明确意义的数字数据。这类数据可以进一步分为离散数据(如人口数量)和连续数据(如身高、体重)。

二、描述性统计 - 集中趋势

描述性统计的集中趋势指标主要包括:众数、中位数、平均数和分位数。

1. 众数

使用场景:数据量大,识别最常见的类别。

常用数据类型:分类数据

python 复制代码
import numpy as np
from scipy import stats

data = [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5]
mode = stats.mode(data)
print(f"众数: {mode.mode[0]}, 频数: {mode.count[0]}")

优点 :简单直观,易于理解。缺点:在多众数情况下可能不适用。

2. 中位数

使用场景:集中趋势分析

常用数据类型:顺序数据、数值数据

python 复制代码
median = np.median(data)
print(f"中位数: {median}")

优点 :不受极端值影响。缺点:不能利用所有数据。

3. 平均数

分类:简单平均数、加权平均数

使用场景:数据的均衡点

常用数据类型:数值数据

python 复制代码
mean = np.mean(data)
print(f"平均数: {mean}")

优点 :利用所有数据,计算简单。缺点:受极端值影响大。

4. 分位数

使用场景:反映数据的集中趋势

常用数据类型:数值数据

python 复制代码
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
print(f"第一四分位数: {q1}, 第三四分位数: {q3}")

优点 :提供数据分布信息。缺点:计算复杂。

三、描述性统计 - 离散程度

描述性统计的离散程度指标主要包括:异众比率、四分位差、极差、标准差和变异系数。

1. 异众比率

使用场景:衡量众数代表性

常用数据类型:分类数据

python 复制代码
def heterogeneity_ratio(data):
    mode_count = stats.mode(data).count[0]
    total_count = len(data)
    return 1 - (mode_count / total_count)

hr = heterogeneity_ratio(data)
print(f"异众比率: {hr}")

优点 :简单直观。缺点:仅适用于分类数据。

2. 四分位差

使用场景:反映中间50%的数据离散程度

常用数据类型:数值数据

python 复制代码
iqr = q3 - q1
print(f"四分位差: {iqr}")

优点 :不受极端值影响。缺点:只考虑中间部分数据。

3. 极差

使用场景:反映数据范围

常用数据类型:数值数据

python 复制代码
range_ = np.ptp(data)
print(f"极差: {range_}")

优点 :计算简单。缺点:受极端值影响大。

4. 标准差

使用场景:数据离散程度

常用数据类型:数值数据

python 复制代码
std_dev = np.std(data)
print(f"标准差: {std_dev}")

优点 :利用所有数据。缺点:受极端值影响。

5. 变异系数

使用场景:数据变异程度

常用数据类型:数值数据

python 复制代码
cv = std_dev / mean
print(f"变异系数: {cv}")

优点 :标准化的离散程度指标。缺点:对于均值接近于零的数据不适用。

四、描述性统计 - 偏差程度

1. Z 分数

使用场景:统一量级,增加可比性

常用数据类型:数值数据

python 复制代码
z_scores = stats.zscore(data)
print(f"z-scores: {z_scores}")

优点 :标准化数据。缺点:需要计算均值和标准差。

2. 协方差和相关系数

使用场景:衡量两个变量的关系

常用数据类型:数值数据

python 复制代码
x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

# 协方差
covariance = np.cov(x, y)[0, 1]
print(f"协方差: {covariance}")

# 相关系数
correlation = np.corrcoef(x, y)[0, 1]
print(f"相关系数: {correlation}")

优点 :揭示变量间关系。缺点:仅适用于线性关系。

总结:通过理解和应用上述统计学基础知识,可以帮助我们更好地分析和解释数据,提高数据分析的准确性和科学性。希望本篇博客对你有所帮助!

(交个朋友/找资源/ai办公/技术接单,注明来意)

相关推荐
测试人社区-小明13 小时前
智能测试误报问题的深度解析与应对策略
人工智能·opencv·线性代数·微服务·矩阵·架构·数据挖掘
阿达_优阅达13 小时前
Tableau 2025.3 发布!可视化扩展升级、Server 版 Agent、平台数据 API,让 AI 深度融入业务工作流
人工智能·ai·数据分析·数据可视化·仪表板·tableau·版本更新
叮铃铃上课了14 小时前
HiveSQL 中的集合运算
数据分析
计算机徐师兄16 小时前
Python基于Django的MOOC线上课程推荐数据分析与可视化系统(附源码,文档说明)
python·数据分析·django·慕课线上课程推荐·慕课线上课程推荐可视化系统·pytho线上课程推荐可视化·线上课程推荐数据分析可视化系统
Niuguangshuo16 小时前
解密GPT的生成魔法:自回归模型
gpt·数据挖掘·回归
Java后端的Ai之路19 小时前
【分析式AI】-分类与回归的区别以及内联
人工智能·分类·数据挖掘·回归·aigc
亿坊电商19 小时前
跨境出口电商系统如何提升出口电商业务的效率和可管理性?
数据挖掘·数据分析·系统架构
六行神算API-天璇19 小时前
技术实践:用大模型平台重构医疗数据分析Pipeline
人工智能·重构·数据挖掘·数据分析
AAD5558889920 小时前
轴体分类识别:基于Decoupled-Solo-Light模型的中心轴、铁质轴和尼龙轴自动检测与分类系统
人工智能·分类·数据挖掘
Dekesas969521 小时前
基于YOLO11-seg的白蚁种类智能识别与分类系统——利用深度学习技术实现白蚁图像分割与多类别精准识别
深度学习·数据挖掘