Pandas 数据分析与可视化:交叉表、透视表与 Matplotlib 绘图

前言

本文作为 Pandas 系列的第四篇,将从两个维度拓展你的数据分析工具箱:

  1. 高级处理------交叉表与透视表:如果说 groupby 是"竖着看数据",那么交叉表和透视表就是"横着把数据铺开",让你像 Excel 透视表一样,快速统计分类变量之间的关系。

  2. Matplotlib 快速入门与基础绘图:从创建画布到绘制折线图,从刻度设置到多图布局,你将掌握 Matplotlib 的核心绘图逻辑。

  3. 常见图形绘制:折线图、柱状图、饼图、散点图------覆盖数据分析中最常用的四种图形,让你能根据业务场景选对图表类型。


高级处理-交叉表与透视表

交叉表与透视表的作用

week代表星期几,1,0代表这一天股票的涨跌幅是好还是坏,里面的数据代表比例

可以理解为所有时间为星期一等等的数据当中涨跌幅好坏的比例

  • 交叉表:

    交叉表用于计算一列数据对于另外一列数据的分组个数(用于统计分组频率的特殊透视表)

    • pd.crosstab(value1, value2)
  • 透视表:

    透视表是将原有的DataFrame的列分别作为行索引和列索引,然后对指定的列应用聚集函数

    • data.pivot_table()
    • DataFrame.pivot_table(\[\], index=\[\])

交叉表

不同性别的人,在'是否购买'上的分布数量分别是多少

python 复制代码
import pandas as pd

# 创建一个示例数据集
data = {
    '性别': ['男', '女', '男', '女', '男', '女', '女', '男'],
    '购买': ['是', '否', '是', '是', '否', '否', '是', '否']
}

df = pd.DataFrame(data)

# 创建交叉表
crosstab = pd.crosstab(df['性别'], df['购买'])
print(crosstab)

索引 0:男,是

索引 1:女,否

索引 2:男,是

索引 3:女,是

索引 4:男,否

索引 5:女,否

索引 6:女,是

索引 7:男,否

计数:

男:是 = 2(索引0,2),否 = 2(索引4,7)=> 2, 2

女:是 = 2(索引3,6),否 = 2(索引1,5)=> 2, 2

透视表

python 复制代码
import pandas as pd

data = {
    '性别': ['男', '女', '男', '女', '男', '女'],
    '购买': ['是', '否', '是', '是', '否', '否'],
    '金额': [100, 150, 200, 130, 160, 120]
}
df = pd.DataFrame(data)

# 创建透视表
pivot_table = pd.pivot_table(df, values='金额', index='性别', columns='购买', aggfunc='mean')
print(pivot_table)
  • values='金额':指定我们要对哪一列的数据进行汇总计算(即我们关心的数值是"金额")。
  • index='性别':指定行索引。透视后,性别列中的唯一值(男、女)会成为结果表格的行名。
  • columns='购买':指定列索引。透视后,购买列中的唯一值(是、否)会成为结果表格的列名。
  • aggfunc='mean':指定聚合函数(即怎么算)。这里用的是 mean(平均值)。意思是:把落入同一个"性别+购买"格子里的所有金额拿来求平均值。

数据:

男,是:100,200(平均值 = 150)

女,是:130(平均值 = 130)

男,否:160(平均值 = 160)

女,否:150,120(平均值 = 135)

Matplotlib快速入门

什么是Matplotlib

  • 是专门用于开发2D图表(包括3D图表)
  • 以渐进、交互式方式实现数据可视化

为什么要学习Matplotlib

可视化是在整个数据挖掘的关键辅助工具,可以清晰的理解数据,从而调整我们的分析方法。

  • 能将数据进行可视化,更直观的呈现
  • 使数据更加客观、更具说服力

实现一个简单的Matplotlib画图 --- 以折线图为例

matplotlib.pyplot模块

matplotlib.pytplot包含了一系列类似于matlab的画图函数。

python 复制代码
import matplotlib.pyplot as plt

图形绘制流程

创建画布 -- plt.figure()

python 复制代码
plt.figure(figsize=(), dpi=)
    figsize:指定图的长宽
    dpi:图像的清晰度
    返回fig对象

绘制图像 -- plt.plot(x, y)

显示图像 -- plt.show()

折线图绘制与显示

展现上海一周的天气,比如从星期一到星期日的天气温度如下

python 复制代码
# 1.创建画布
plt.figure(figsize=(10, 10), dpi=100)

# 2.绘制折线图
plt.plot([1, 2, 3, 4, 5, 6 ,7], [17,17,18,15,11,11,13])

# 3.显示图像
plt.show()

认识Matplotlib图像结构

Matplotlib基础绘图功能

完善原始折线图 --- 给图形添加辅助功能

需求:画出某城市11点到12点1小时内每分钟的温度变化折线图,温度范围在15度~18度

准备数据并画出初始折线图

python 复制代码
x = range(60)
y_shanghai = [random.uniform(15, 18) for i in x]
# 循环变量 i 在生成随机数时没有被使用,只是为了"跑循环"
# 1.创建画布
plt.figure(figsize=(20, 8), dpi=80)

# 2.绘制折线图
plt.plot(x, y_shanghai)

# 3.显示图像
plt.show()

作用 :返回一个 随机的浮点数 ,其值在区间 [a, b] 之间(包括 ab)。

分布 :数值在指定区间内是 均匀分布 的,这意味着每个数值出现的概率是相等的。

添加自定义x,y刻度

  • plt.xticks(x, **kwargs)

    x:要显示的刻度值

  • plt.yticks(y, **kwargs)

    y:要显示的刻度值

python 复制代码
# 构造x轴刻度标签
x_ticks_label = ["11点{}分".format(i) for i in x]
# 构造y轴刻度
y_ticks = range(40)

# 修改x,y轴坐标的刻度显示
plt.xticks(x[::5], x_ticks_label[::5])
plt.yticks(y_ticks[::5])

plt.xticks(x::5, x_ticks_label::5):plt.xticks(位置列表, 标签列表)

纵轴只在 0, 5, 10, 15, 20, 25, 30, 35 这 8 个位置显示刻度线

plt.yticks(y_ticks::5)

单参数用法:plt.yticks(位置列表)。因为没有传入第二个参数(标签),所以它会保留默认的数字标签(即显示数字本身)。

中文显示问题解决

在Python脚本中动态设置matplotlibrc,这样也可以避免由于更改配置文件而造成的麻烦,具体代码如下:

python 复制代码
from pylab import mpl
# 设置显示中文字体
mpl.rcParams["font.sans-serif"] = ["SimHei"]

有时候,字体更改后,会导致坐标轴中的部分字符无法正常显示,此时需要更改axes.unicode_minus参数:

python 复制代码
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"] = False

添加网格显示

为了更加清楚地观察图形对应的值

python 复制代码
plt.grid(True, linestyle='--', alpha=0.5)

plt.grid()------Matplotlib 中用于配置坐标轴网格线的函数。

参数1:True------布尔值,用于打开(True)或关闭(False)网格线。

参数2:linestyle='--'------设置网格线的样式。'--' 代表虚线(破折号)。

参数3:alpha=0.5------设置网格线的透明度(不透明度)。范围从 0(完全透明)到 1(完全不透明)。0.5 是半透明。

添加描述信息

添加x轴、y轴描述信息及标题

通过fontsize参数可以修改图像中字体的大小

python 复制代码
plt.xlabel("时间")
plt.ylabel("温度")
plt.title("中午11点0分到12点之间的温度变化图示", fontsize=20)

图片保存

python 复制代码
# 保存图片到指定路径
plt.savefig("../image/test.png")

注意:plt.show()会释放figure资源,如果在显示图像之后保存图片将只能保存空图片。

完整代码

python 复制代码
import matplotlib.pyplot as plt
import random
from pylab import mpl

# 设置显示中文字体
mpl.rcParams["font.sans-serif"] = ["SimHei"]
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"] = False

# 0.准备数据
x = range(60)
y_shanghai = [random.uniform(15, 18) for i in x]

# 1.创建画布
plt.figure(figsize=(20, 8), dpi=100)

# 2.绘制图像
plt.plot(x, y_shanghai)

# 2.1 添加x,y轴刻度
# 构造x,y轴刻度标签
x_ticks_label = ["11点{}分".format(i) for i in x]
y_ticks = range(40)

# 刻度显示
plt.xticks(x[::5], x_ticks_label[::5])
plt.yticks(y_ticks[::5])

# 2.2 添加网格显示
plt.grid(True, linestyle="--", alpha=0.5)

# 2.3 添加描述信息
plt.xlabel("时间")
plt.ylabel("温度")
plt.title("中午11点--12点某城市温度变化图", fontsize=20)

# 2.4 图像保存
plt.savefig("../image/test.png")

# 3.图像显示
plt.show()

在一个坐标系中绘制多个图像

多次plot

需求:再添加一个城市的温度变化

收集到北京当天温度变化情况,温度在1度到3度。怎么去添加另一个在同一坐标系当中的不同图形,其实很简单只需要再次plot即可 ,但是需要区分线条,如下显示

python 复制代码
# 增加北京的温度数据
y_beijing = [random.uniform(1, 3) for i in x]

# 绘制折线图
plt.plot(x, y_shanghai)
# 使用多次plot可以画多个折线
plt.plot(x, y_beijing, color='r', linestyle='--')

设置图形风格

显示图例

注意:如果只在plt.plot()中设置label还不能最终显示出图例,还需要通过plt.legend()将图例显示出来。

python 复制代码
# 绘制折线图
plt.plot(x, y_shanghai, label="上海")
# 使用多次plot可以画多个折线
plt.plot(x, y_beijing, color='r', linestyle='--', label="北京")

# 显示图例
plt.legend(loc="best")

完整代码

python 复制代码
# 0.准备数据
x = range(60)
y_shanghai = [random.uniform(15, 18) for i in x]
y_beijing = [random.uniform(1,3) for i in x]

# 1.创建画布
plt.figure(figsize=(20, 8), dpi=100)

# 2.绘制图像
plt.plot(x, y_shanghai, label="上海")
plt.plot(x, y_beijing, color="r", linestyle="--", label="北京")

# 2.1 添加x,y轴刻度
# 构造x,y轴刻度标签
x_ticks_label = ["11点{}分".format(i) for i in x]
y_ticks = range(40)

# 刻度显示
plt.xticks(x[::5], x_ticks_label[::5])
plt.yticks(y_ticks[::5])

# 2.2 添加网格显示
plt.grid(True, linestyle="--", alpha=0.5)

# 2.3 添加描述信息
plt.xlabel("时间")
plt.ylabel("温度")
plt.title("中午11点--12点某城市温度变化图", fontsize=20)

# 2.4 图像保存
plt.savefig("./test.png")

# 2.5 添加图例
plt.legend(loc=0)


# 3.图像显示
plt.show()

多个坐标系显示--- plt.subplots(面向对象的画图方法)

如果我们想要将上海和北京的天气图显示在同一个图的不同坐标系当中,效果如下:

可以通过subplots函数实现(旧的版本中有subplot,使用起来不方便),推荐subplots函数

matplotlib.pyplot.subplots(nrows=1, ncols=1, **fig_kw) 创建一个带有多个axes(坐标系/绘图区)的图

python 复制代码
Parameters:    

nrows, ncols : 设置有几行几列坐标系
    int, optional, default: 1, Number of rows/columns of the subplot grid.

Returns:    
fig : 图对象
axes : 返回相应数量的坐标系

设置标题等方法不同:
    set_xticks
    set_yticks
    set_xlabel
    set_ylabel

关于axes子坐标系的更多方法:参考https://matplotlib.org/api/axes_api.html#matplotlib.axes.Axes

注意:**plt.函数名()**相当于面向过程的画图方法,**axes.set_方法名()**相当于面向对象的画图方法。

python 复制代码
import matplotlib.pyplot as plt
import random
from pylab import mpl

# 设置显示中文字体
mpl.rcParams["font.sans-serif"] = ["SimHei"]
# 设置正常显示符号
mpl.rcParams["axes.unicode_minus"] = False

# 0.准备数据
x = range(60)
y_shanghai = [random.uniform(15, 18) for i in x]
y_beijing = [random.uniform(1, 5) for i in x]

# 1.创建画布
# plt.figure(figsize=(20, 8), dpi=100)
fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 8), dpi=100)

# 2.绘制图像
# plt.plot(x, y_shanghai, label="上海")
# plt.plot(x, y_beijing, color="r", linestyle="--", label="北京")
axes[0].plot(x, y_shanghai, label="上海")
axes[1].plot(x, y_beijing, color="r", linestyle="--", label="北京")

# 2.1 添加x,y轴刻度
# 构造x,y轴刻度标签
x_ticks_label = ["11点{}分".format(i) for i in x]
y_ticks = range(40)

# 刻度显示
# plt.xticks(x[::5], x_ticks_label[::5])
# plt.yticks(y_ticks[::5])
axes[0].set_xticks(x[::5])
axes[0].set_yticks(y_ticks[::5])
axes[0].set_xticklabels(x_ticks_label[::5])
axes[1].set_xticks(x[::5])
axes[1].set_yticks(y_ticks[::5])
axes[1].set_xticklabels(x_ticks_label[::5])

# 2.2 添加网格显示
# plt.grid(True, linestyle="--", alpha=0.5)
axes[0].grid(True, linestyle="--", alpha=0.5)
axes[1].grid(True, linestyle="--", alpha=0.5)

# 2.3 添加描述信息
# plt.xlabel("时间")
# plt.ylabel("温度")
# plt.title("中午11点--12点某城市温度变化图", fontsize=20)
axes[0].set_xlabel("时间")
axes[0].set_ylabel("温度")
axes[0].set_title("中午11点--12点某城市温度变化图", fontsize=20)
axes[1].set_xlabel("时间")
axes[1].set_ylabel("温度")
axes[1].set_title("中午11点--12点某城市温度变化图", fontsize=20)

# # 2.4 图像保存
plt.savefig("../image/test.png")

# # 2.5 添加图例
# plt.legend(loc=0)
axes[0].legend(loc=0)
axes[1].legend(loc=0)

# 3.图像显示
plt.show()

plt.subplots():一次性创建画布(fig)和子图数组(axes)。

nrows=1, ncols=2:生成 1 行 2 列 的两个子图。

figsize 和 dpi:控制整体画布尺寸。

返回的 axes:是一个包含两个子图对象的列表。axes0 代表左图,axes1 代表右图

左图(axes0)画上海(默认蓝色实线)。

右图(axes1)画北京(红色虚线)。

折线图的应用场景

  • 呈现公司产品(不同区域)每天活跃用户数
  • 呈现app每天下载数量
  • 呈现产品新功能上线后,用户点击次数随时间的变化
  • 拓展:画各种数学函数图像
    • 注意:plt.plot()除了可以画折线图,也可以用于画各种数学函数图像
python 复制代码
import numpy as np
# 0.准备数据
x = np.linspace(-10, 10, 1000)
y = np.sin(x)

# 1.创建画布
plt.figure(figsize=(20, 8), dpi=100)

# 2.绘制函数图像
plt.plot(x, y)
# 2.1 添加网格显示
plt.grid()

# 3.显示图像
plt.show()

np.linspace(-10, 10, 1000) 作用:生成一个等差数列。

  • -10:起点。
  • 10:终点(包含)。
  • 1000:在这个区间内生成 1000 个点。

y = np.sin(x) 作用:对 x 数组里的每一个元素计算正弦值(弧度制)

常见图形绘制

官方案例库

https://matplotlib.org/stable/gallery/index.html

常见图形种类及意义

折线图

  • 折线图:以折线的上升或下降来表示统计数量的增减变化的统计图

    特点:能够显示数据的变化趋势,反映事物的变化情况。(变化)

    api:plt.plot(x, y)

柱形图

柱状图:排列在工作表的列或行中的数据可以绘制到柱状图中。

特点:绘制连离散的数据,能够一眼看出各个数据的大小,比较数据之间的差别。(统计/对比)

api:plt.bar(x, width, align='center', **kwargs)

python 复制代码
Parameters:    
x : 需要传递的数据

width : 柱状图的宽度

align : 每个柱状图的位置对齐方式
    {'center', 'edge'}, optional, default: 'center'

**kwargs :
color:选择柱状图的颜色

直方图

由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据范围,纵轴表示分布情况。

特点:绘制连续性的数据展示一组或者多组数据的分布状况(统计)

api:matplotlib.pyplot.hist(x, bins=None)

python 复制代码
Parameters:    
x : 需要传递的数据
bins : 组距

饼图

  • 饼图:用于表示不同分类的占比情况,通过弧度大小来对比各种分类。

    特点:分类数据的占比情况(占比)

    api:plt.pie(x, labels=,autopct=,colors)

python 复制代码
Parameters:  
x:数量,自动算百分比
labels:每部分名称
autopct:占比显示指定%1.2f%%
colors:每部分颜色

散点图

散点图:用两组数据构成多个坐标点,考察坐标点的分布,判断两变量之间是否存在某种关联或总结坐标点的分布模式。

特点:判断变量之间是否存在数量关联趋势,展示离群点(分布规律)

api:plt.scatter(x, y)

柱形图绘制

python 复制代码
categories = ['A', 'B', 'C', 'D']
values = [3, 7, 5, 4]

plt.bar(categories, values, color='blue')  # 绘制蓝色柱状图
plt.title("Simple Bar Chart")  # 设置图表标题
plt.xlabel("Categories")  # 设置X轴标签
plt.ylabel("Values")  # 设置Y轴标签
plt.show()  # 显示图表

直方图

python 复制代码
# 1. 生成数据
data = np.random.randn(500)  # 生成500个服从标准正态分布的随机数

# 2. 创建画布
plt.figure(figsize=(10, 6))

# 3. 绘制直方图
plt.hist(data, bins=30, color='blue', alpha=0.7, rwidth=0.85)

# 4. 添加标题和标签
plt.title("Histogram of Normally Distributed Data")
plt.xlabel("Value")
plt.ylabel("Frequency")

# 5. 显示图像
plt.grid(True)
plt.show()

参数说明
bins=30:将数据分成 30 个等宽的区间,每个区间的宽度相同,统计每个区间内数据的频率。
color='blue':设置直方图条形为蓝色。
alpha=0.7:设置条形的透明度为 0.7,使得条形稍微透明。
rwidth=0.85:将条形的宽度设为区间宽度的 85%,留下 15% 的间隔,以便更清晰地分辨各个条形。

饼图

python 复制代码
sizes = [25, 35, 25, 15]
labels = ['Category A', 'Category B', 'Category C', 'Category D']

plt.pie(sizes, labels=labels, autopct='%1.1f%%')  # 绘制饼图,显示百分比
plt.title("Simple Pie Chart")  # 设置图表标题
plt.show()  # 显示图表

散点图绘制

python 复制代码
x = [1, 2, 3, 4, 5]
y = [2, 3, 5, 7, 11]

plt.scatter(x, y, color='red')  # 绘制红色散点图
plt.title("Simple Scatter Plot")  # 设置图表标题
plt.xlabel("X-axis")  # 设置X轴标签
plt.ylabel("Y-axis")  # 设置Y轴标签
plt.show()  # 显示图表

总结

希望本文能成为你数据分析可视化的起点。下次当你面对一份处理好的数据时,不妨问自己一个问题:"我想让读者看到什么?" 答案就是你选择图表类型的依据。