智能风控 数据分析 groupby、apply、reset_index组合拳

目录

groupby------分组

本例

apply------对每个分组应用一个函数

等价用法

reset_index------重置索引

使用前​编辑

注意事项

groupby必须配合聚合函数、

关于agglist

一些groupby试验

[1. groupby对象之后。sum(一个列名)](#1. groupby对象之后。sum(一个列名))

[2. groupby对象之后。sum(2个列名)](#2. groupby对象之后。sum(2个列名))

[3. groupby对象之后。sum(空)​编辑](#3. groupby对象之后。sum(空)编辑)

sum添加一个列明

一样,只有数字上榜​编辑

sum添加俩列名​编辑

书上官方:apply后自己定义列名

是否有列表框住很重要

其他用法

np。nansum

[例axis=0 未指定列名,把他们放到了一个列表​编辑](#例axis=0 未指定列名,把他们放到了一个列表编辑)

axis=0,指定列名,只有这个咧

​编辑axis=1报错1啊​编辑


df_g = df.groupby('uid')  # 按照uid进行分组
gn = pd.DataFrame()  # 创建一个空的DataFrame用于存储结果
for i in agg_list:  # 遍历agg_list列表
    if isinstance(i, str):  # 如果i是字符串类型
        tp = pd.DataFrame(df_g.groupby('uid').apply(lambda df: len(df[i])).reset_index())  # 对每个组应用lambda函数计算长度,并将索引重置
        tp.columns = ['uid', i + '_cnt']  # 设置列名
        if gn.empty == True:  # 如果gn为空
            gn = tp  # 将tp赋值给gn
        else:
            gn = pd.merge(gn, tp, on='uid', how='left')  # 合并gn和tp
    elif isinstance(i, int):  # 如果i是整数类型
        tp = pd.DataFrame(df_g.groupby('uid').apply(lambda df: np.where(df[i] > 0, 1, 0).sum()).reset_index())  # 对每个组应用lambda函数计算满足条件的元素的和,并将索引重置
        tp.columns = ['uid', i + '_num']
        if gn.empty == True:
            gn = tp
        else:
            gn = pd.merge(gn, tp, on='uid', how='left')
    elif isinstance(i, float):  # 如果i是浮点数类型
        tp = pd.DataFrame(df_g.groupby('uid').apply(lambda df: np.nansum(df[i])).reset_index())  # 对每个组应用lambda函数计算非NaN值的和,并将索引重置
        tp.columns = ['uid', i + '_tot']
        if gn.empty == True:
            gn = tp
        else:
            gn = pd.merge(gn, tp, on='uid', how='left')
    elif isinstance(i, list):  # 如果i是列表类型
        tp = pd.DataFrame(df_g.groupby('uid').apply(lambda df: np.nanmean(df[i])).reset_index())  # 对每个组应用lambda函数计算平均值,并将索引重置
        tp.columns = ['uid', i + '_avg']
        if gn.empty == True:
            gn = tp
        else:
            gn = pd.merge(gn, tp, on='uid', how='left')
    else:  # 其他情况
        tp = pd.DataFrame(df_g.groupby('uid').apply(lambda df: np.nanmax(df[i])).reset_index())  # 对每个组应用lambda函数计算最大值,并将索引重置
        tp.columns = ['uid', i + '_max']
        if gn.empty == True:
            gn = tp
        else:
            gn = pd.merge(gn, tp, on='uid', how='left')

groupby------分组

groupby 是 pandas 库中一个非常重要的功能,它用于将数据分组并对每个组应用函数。groupby 的基本用法是将 DataFrame 分成多个组,每个组由一个或多个唯一值定义。

语法:

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)

关键参数:

  • by: 用于分组的键,可以是列名、列名的列表或一个返回分组键的函数。
  • axis: 指定分组是在哪个轴上进行的,默认为 0(行)。
  • as_index: 默认为 True,表示返回的 DataFrame 中的分组键作为索引。如果设置为 False,则分组键将作为列返回。
本例
df.groupby('uid')

这会按照 'uid' 列的值对 DataFrame 进行分组。

apply------对每个分组应用一个函数

apply 函数用于对DataFrame 中的每个组应用一个函数。这个函数可以是自定义的,也可以是 pandas 中的内置函数。

语法:

DataFrameGroupBy.apply(func, *args, **kwargs)

关键参数:

  • func: 应用于每个组的函数。

例子:

df_g.apply(lambda df: np.sum(df['value']))

这会对每个组应用一个 lambda 函数,计算 'value' 列的总和。

返回这个函数的结果dataframe

等价用法

其中,. df_g.apply(lambda df: np.sum(df['value']))等价于groupby对象.sum(列名即"value")

例pd.DataFrame(customers_df.groupby(["Time"]).sum('CustomerID'))

reset_index------重置索引

reset_index 用于重置 DataFrame 的索引,或者将索引的级别转换为列。这在 groupby 操作后特别有用,因为 groupby 默认会将分组键作为索引。

语法:

DataFrame.reset_index(level=None, drop=False, inplace=False, col_level=0, col_fill='')

关键参数:

  • level: 如果是多级索引,可以指定要重置的级别。
  • drop: 如果为 True,则重置索引后,原始索引将不会作为列添加到 DataFrame 中。
  • inplace: 如果为 True,则直接在原始 DataFrame 上修改,不返回新的 DataFrame。

例子:

df_g.reset_index()

这会将分组后的 DataFrame 的索引重置,并将原来的索引作为 DataFrame 的一列。

返回重置后的dataframe

使用前

使用后

结合以上三个功能,代码中的例子可以这样解释:

df_g = df.groupby('uid')  # 按照列 'uid' 对 DataFrame 进行分组
gn = pd.DataFrame()  # 创建一个空的 DataFrame 用于存储结果
for i in agg_list:  # 遍历一个聚合操作的列表
    # ... 对每个分组应用不同的聚合函数 ...
    tp = pd.DataFrame(df_g[i].apply(lambda df: np.sum(df)).reset_index())  # 应用聚合函数并重置索引
    # ... 合并结果到 gn DataFrame ...

在这个例子中,groupby 用于创建分组,apply 用于对每个分组执行聚合操作,而 reset_index 用于将聚合后的结果转换为 DataFrame,并保留原始的分组键作为一列。

注意事项

groupby必须配合聚合函数、

聚合函数可以是groupby对象后面。后缀

、也可以是。apply自定义

当你使用 pd.DataFrame(customers_df.groupby(['Time', "CustomerID"])) 时,你实际上是将 groupby 对象转换成了一个 DataFrame。groupby 对象本身是一个中间对象,用于表示分组操作,它包含了原始 DataFrame 的分组信息,但并不包含聚合后的结果。

import pandas as pd

# 客户信息 DataFrame
customers_df = pd.DataFrame({
    'CustomerID': [1, 2, 3, 4],
    'CustomerName': ['Alice', 'Bob', 'Charlie', 'David'],
    'Time': [10, 20, 10, 40]
})

# 将 groupby 对象转换为 DataFrame
grouped_df = pd.DataFrame(customers_df.groupby(['Time', "CustomerID"]))

print(grouped_df)

输出将是一个包含两个列的 DataFrame,这两个列是 'Time''CustomerID',它们表示分组键。这个 DataFrame 的每一行代表一个唯一的分组。但是,由于没有应用任何聚合函数,这个 DataFrame 不会包含任何关于分组内容的聚合信息。

输出看起来像这样:

       Time  CustomerID
0 10      1          1
1 20      2          2
2 10      3          3
3 40      4          4

解释:

  • groupby(['Time', "CustomerID"]) 创建了一个分组对象,这个对象根据 'Time' 和 'CustomerID' 的每个唯一组合对数据进行分组。
  • 由于没有指定聚合函数,转换成 DataFrame 后,它只是显示了分组键的组合,并没有显示每个组中的数据。
  • 在这个特定的例子中,由于 'CustomerID' 是唯一的,所以每个 'Time' 和 'CustomerID' 的组合都是唯一的,因此这个操作并没有实际上的分组效果,它只是简单地展示了每一行数据的 'Time' 和 'CustomerID'。

如果你想要查看每个组中的数据,你应该在 groupby 后面应用聚合函数,例如 .size().sum().mean() 等,然后可能需要使用**.reset_index() 来**将结果转换成一个 DataFrame。例如:

grouped_df = customers_df.groupby(['Time', "CustomerID"]).size().reset_index(name='Count')
print(grouped_df)

这将输出每个分组中的元素数量。

关于agglist

在Python中,当你在循环中使用for i in agg_list:时,agg_list通常是包含要处理的项或值的列表。在这个上下文中,agg_list可能包含一些聚合函数的名字或者是其他与数据处理相关的参数。具体来说,这取决于你正在进行的任务和你如何定义和使用agg_list

例如,如果你的程序涉及到数据分析,并且你想对不同列的数据进行某种形式的聚合(如求和、平均值等),那么agg_list可能会包含字符串形式的函数名称,如['sum', 'mean'],然后在循环内部对这些函数进行处理。

再举一个具体的例子,假设你有如下代码片段:

python

复制

agg_list = ['sum', 'mean']
dataframe = pd.DataFrame(...)  # 假设这是一个已经存在的DataFrame

for func_name in agg_list:
    if func_name == 'sum':
        result = dataframe.sum()
    elif func_name == 'mean':
        result = dataframe.mean()
    # ... 其他可能的聚合函数处理 ...
    
    print(f"The {func_name} of the data is: {result}")

在这个例子中,agg_list就是一个包含字符串的列表,其中每个字符串代表一种聚合函数的名称。通过遍历这个列表,我们可以依次调用相应的聚合函数来处理数据。

总结一下,agg_list通常是一个列表,其中包含你要执行的某些操作的相关信息,如函数名称、参数等。具体的内容取决于你的编程需求和上下文。

书上:agg_list='oil_amount','discount_amount','sale_amount','amount',,'pay_amount','coupon_amount'等等。并不是前面所说的sum average之流

一些groupby试验

1. groupby对象之后。sum(一个列名)

仅显示为数字的列,name这列没写,并且另一列也作用了这个sum函数,即使没有写这一列的名字

2. groupby对象之后。sum(2个列名)

比1多了name一列,三列统统使用了sum操作,name是字符串的相加

3. groupby对象之后。sum(空)

与1相同的结果,name又没了

sum添加一个列明

一样,只有数字上榜

sum添加俩列名

2or3结果一样,name上榜

这个用法似乎不太正规

书上官方:apply后自己定义列名

这个结合apply及lambda自定义函数的方法会丢失列名仅有此列

是否有列表框住很重要

name赫然在列

name消失 。且保留有其他数字的列

哪怕是只有一个列名的列表

其他用法

np。nansum

只能给他一列,多了会报错。

np.nanmin 是 NumPy 库中的一个函数,

------忽略nan的某函数们,具体有nanmin nanmax nanvar nansum nanmean

他们通常作用在一维nparray上

如果用到多维,需要指定axis

例axis=0 未指定列名,把他们放到了一个列表

axis=0,指定列名,只有这个咧

axis=1报错1啊

用于计算数组中非 NaN (Not a Number) 值的最小值。当数组中包含 NaN 值时,标准的 min 函数会返回 NaN,而 np.nanmin 会忽略这些 NaN 值并返回剩余非 NaN 值中的最小值。

以下是 np.nanmin 的基本用法:

import numpy as np

# 创建一个包含 NaN 值的数组
arr = np.array([1, 2, np.nan, 4, np.nan, 6])

# 使用 np.nanmin 计算非 NaN 值的最小值
min_value = np.nanmin(arr)

print(min_value)  # 输出: 1

以下是 np.nanmin 的一些其他特性:

  • 它可以接受一个 axis 参数,用于计算指定轴上的最小值。
  • 它可以接受一个 out 参数,用于指定输出数组。

例子:

# 创建一个二维数组
arr_2d = np.array([[1, 2, np.nan], [np.nan, 4, 6], [7, np.nan, 9]])

# 计算每一列的非 NaN 最小值
min_values_per_column = np.nanmin(arr_2d, axis=0)

print(min_values_per_column)  # 输出: [1 2 6]

# 计算每一行的非 NaN 最小值
min_values_per_row = np.nanmin(arr_2d, axis=1)

print(min_values_per_row)  # 输出: [1 4 7]

在这个例子中,axis=0 表示沿着列的方向计算最小值,而 axis=1 表示沿着行的方向计算最小值。np.nanmin 会自动忽略每列或每行中的 NaN 值。

相关推荐
知识鱼丸3 小时前
machine learning自定义数据集使用框架的线性回归方法对其进行拟合
人工智能·机器学习·线性回归
灰灰老师5 小时前
数据分析系列--④RapidMiner进行关联分析(案例)
机器学习·ai·数据分析·big data·rapidminer
蜡笔小新..7 小时前
从零推导线性回归:最小二乘法与梯度下降的数学原理
人工智能·机器学习·线性回归·梯度下降·数学推导
爱喝热水的呀哈喽8 小时前
数据分箱 bagging&boosting onehot独热编码 woe编码 sklearn的ensemble(集成学习)
机器学习
QQ_7781329748 小时前
AI 浪潮席卷中国年,开启科技新春新纪元
人工智能·机器学习
米码收割机10 小时前
【python】python基于机器学习与数据分析的二手手机特性关联与分类预测(源码+数据集)【独一无二】
python·机器学习·数据分析
Geeker · LStar10 小时前
【初/高中生讲机器学习】0. 本专栏 “食用” 指南——写在一周年之际⭐
人工智能·机器学习·专栏介绍·初/高中生讲机器学习
2302_7969847412 小时前
正态分布与柯西分布的线性组合与副本随机变量同分布
人工智能·机器学习·概率论