Pandas分组聚合_Python数据分析与可视化

Pandas分组聚合

分组聚合的流程主要有三步:

  • 分割步骤将 DataFrame 按照指定的键分割成若干组;
  • 应用步骤对每个组应用函数,通常是累计、转换或过滤函数;
  • 组合步骤将每一组的结果合并成一个输出数组。

分组

通常我们将数据分成多个集合的操作称之为分组,Pandas 中使用 groupby() 函数来实现分组操作。

单列和多列分组

对分组后的子集进行数值运算时,不是数值的列会自动过滤

csharp 复制代码
import pandas as pd
data = {'A': [1, 2, 2, 3, 2, 4],
        'B': [2014, 2015, 2014, 2014, 2015, 2017],
        'C': ["a", "b", "c", "d", "e", "f"],
        'D': [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
        }
df = pd.DataFrame(data)
df.groupby("B")   #单列分组  返回的是一个groupby对象
df.groupby(["B","C"])    #多列分组

Series 系列分组

选取数据帧中的一列作为 index 进行分组:

csharp 复制代码
df["A"].groupby(df["B"])   #df的 A 列根据 B 进行分组

通过数据类型或者字典分组

数据类型分组:

csharp 复制代码
df.groupby(df.dtypes,axis=1)   # axis=1表示按列分组,以数据类型为列名

传入字典分组:

csharp 复制代码
dic = {"A": "number", "B": "number", "C": "str", "D": "number"}
df.groupby(dic, axis=1)   #按列分组,列名是字典的值

获取单个分组

使用 get_group() 方法可以选择一个组。

csharp 复制代码
df.groupby("A").get_group(2)
Output:
   A     B  C    D
1  2  2015  b  0.9
2  2  2014  c  2.1
4  2  2015  e  0.5

对分组进行迭代

GroupBy 对象支持迭代,可以产生一组二元元组(由分组名和数据块组成)。

csharp 复制代码
for name,data in df.groupby("A"):
        print(name)
        print(data)
Output:
1
   A     B  C    D
0  1  2014  a  0.5
2
   A     B  C    D
1  2  2015  b  0.9
2  2  2014  c  2.1
4  2  2015  e  0.5
3
   A     B  C    D
3  3  2014  d  1.5
4
   A     B  C    D
5  4  2017  f  0.1

聚合

聚合函数为每个组返回单个聚合值。当创建了 groupby 对象,就可以对分组数据执行多个聚合操作。比较常用的是通过聚合函数或等效的 agg 方法聚合。


常用的聚合函数:

应用单个聚合函数

对分组后的子集进行数值运算时,不是数值的列会自动过滤

csharp 复制代码
import pandas as pd
import numpy as np
data = {'A': [1, 2, 2, 3, 2, 4],
        'B': [2014, 2015, 2014, 2014, 2015, 2017],
        'C': ["a", "b", "c", "d", "e", "f"],
        'D': [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
        }
df = pd.DataFrame(data)
df.groupby("B").sum()       #对分组进行求和

应用多个聚合函数

csharp 复制代码
df.groupby("B").agg([np.sum,np.mean,np.std])

自定义函数传入 agg() 中

csharp 复制代码
def result(df):
    return df.max() - df.min()
df.groupby("B").agg(result)  #求每一组最大值与最小值的差

对不同的列使用不同的聚合函数

csharp 复制代码
mapping = {"A":np.sum,"B":np.mean}
df.groupby("C").agg(mapping)
相关推荐
2601_967980111 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao1 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05062 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴2 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
金銀銅鐵2 小时前
用 graphviz 画关系图:四个例子
数据可视化
2601_967979123 小时前
pandas重塑层次化索引(stack()和unstack()函数解析)
pandas·重塑·层次化索引·stack()·unstack()
Norna4 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5554 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5554 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
JonaHu5 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api