Pandas相关性分析

1.相关性分析定义

在 Pandas 中,数据相关性分析是通过计算不同变量之间的相关系数来了解它们之间的关系。在 Pandas 中,数据相关性是一项重要的分析任务,它帮助我们理解数据中各个变量之间的关系。

2.使用 corr() 方法计算数据集中每列之间的关系

复制代码
df.corr(method='pearson', min_periods=1)

(1)method (可选): 字符串类型,用于指定计算相关系数方法。默认是 'pearson',还可以选择 'kendall'(Kendall Tau 相关系数)或 'spearman'(Spearman 秩相关系数)。

(2)min_periods (可选): 表示计算相关系数时所需的最小观测值数量。默认值是 1,即只要有至少一个非空值就会进行计算。如果指定min_periods,并在某些列中的非空值数量小于该值,则相应列的相关系数将被设为 NaN。

(3)df.corr() 方法返回一个相关系数矩阵,矩阵的行和列对应数据框的列名,矩阵的元素是对应列之间的相关系数。

3.常见的相关性系数

(1)Pearson 相关系数: 皮尔逊相关系数,用于衡量两个变量间的线性关系强度和方向。取值范围在 -1 到 1 之间,-1 表示完全负相关,1 表示完全正相关,0 表示无线性相关。可以使用 corr() 方法计算数据框中各列之间的 Pearson 相关系数。

(2)Spearman 相关系数:即斯皮尔曼相关系数,是一种秩相关系数。用于衡量两个变量之间的单调关系,即不一定是线性关系。通过比较变量的秩次来计算相关性。使用 corr(method='spearman') 方法计算数据框中各列之间的 Spearman 相关系数。

4.Pearson 相关系数

数据集是线性相关的,因此 Pearson 相关系数矩阵对角线上的值为 1,而非对角线上的值为 -1 表示完全负相关。

复制代码
import pandas as pd

# 创建一个示例数据框
data = {'A': [1, 2, 3, 4, 5], 'B': [5, 4, 3, 2, 1]}
df = pd.DataFrame(data)

# 计算 Pearson 相关系数
correlation_matrix = df.corr()
print(correlation_matrix)

5.Spearman秩相关系数

Spearman 相关系数矩阵的结果与 Pearson 相关系数矩阵相同,因为这两个变量之间是完全的单调负相关。

复制代码
import pandas as pd

# 创建一个示例数据框
data = {'A': [1, 2, 3, 4, 5], 'B': [5, 4, 3, 2, 1]}
df = pd.DataFrame(data)

# 计算 Spearman 相关系数
spearman_correlation_matrix = df.corr(method='spearman')
print(spearman_correlation_matrix)

6.可视化相关性

使用 Python 的 Seaborn 库, Seaborn 是基于 Matplotlib 的数据可视化库,专注于统计图形的绘制,旨在简化数据可视化的过程。Seaborn 提供了简单高级接口,可以轻松绘制各种统计图形,包括散点图、折线图、柱状图、热图等,而且具有良好的美学效果。

复制代码
!pip install seaborn
复制代码
import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

# 创建一个示例数据框
data = {'A': [1, 2, 3, 4, 5], 'B': [5, 4, 3, 2, 1]}
df = pd.DataFrame(data)

# 计算 Pearson 相关系数
correlation_matrix = df.corr()

# 使用热图可视化 Pearson 相关系数
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', fmt=".2f")
plt.show()
相关推荐
橘猫云计算机设计2 分钟前
基于django优秀少儿图书推荐网(源码+lw+部署文档+讲解),源码可白嫖!
java·spring boot·后端·python·小程序·django·毕业设计
互联网杂货铺9 分钟前
如何用Postman实现自动化测试?
自动化测试·软件测试·python·测试工具·测试用例·接口测试·postman
予安灵16 分钟前
一文详细讲解Python(详细版一篇学会Python基础和网络安全)
开发语言·python
淬渊阁27 分钟前
汇编学习之《扩展指令指针寄存器》
汇编·学习
lalapanda29 分钟前
UE5学习记录part12
学习·ue5
冷月半明43 分钟前
Python项目打包指南:PyInstaller与SeleniumWire的兼容性挑战及解决方案
python·selenium
冷月半明43 分钟前
《Pandas 性能优化:向量化操作 vs. Swifter 加速,谁才是大数据处理的救星?》
python·数据分析·pandas
蹦蹦跳跳真可爱5891 小时前
Python----机器学习(基于PyTorch的线性回归)
人工智能·pytorch·python·机器学习·线性回归
并不会1 小时前
多线程案例-单例模式
java·学习·单例模式·单线程·多线程·重要知识
淬渊阁1 小时前
汇编学习之《push , pop指令》
汇编·学习