NumPy 应用实例:用户行为数据分析(归一化和标准化处理)

在用户行为分析中,常常需要同时处理多个特征,例如访问次数、消费金额、停留时长、收藏数量等。这些特征虽然都能反映用户活跃程度或消费倾向,但它们的单位、量纲和取值范围通常并不一致。如果直接将原始数据用于综合评分或相似度计算,数值较大的特征往往会对结果产生过强影响,从而削弱分析的合理性。

因此,在正式分析之前,通常需要先进行特征缩放。最常见的两种处理方法就是归一化与标准化。前者通常用于将数据压缩到统一范围,便于综合评分;后者则更适合用于距离计算和相似性分析。

本实例以一组电商平台用户行为数据为例,使用 NumPy 完成以下任务:对用户特征进行归一化和标准化处理,在此基础上计算用户评分,并通过距离计算找出最相近的用户。

一、理论基础

1、特征缩放的意义

在多特征数据分析中,不同特征往往具有不同的数值尺度。

例如,月消费金额可能是数千元,而收藏商品数可能只有十几个。如果不先统一尺度,后续的加权评分、距离度量等计算就容易被大数值特征"主导"。

特征缩放的主要目的有三点:

• 消除不同特征之间的量纲差异

• 避免大范围特征对结果产生不成比例的影响

• 使不同特征能够在同一尺度下共同参与分析

2、归一化

归一化通常指最小---最大归一化,即将某一特征的全部取值线性压缩到 [0, 1] 区间。

公式为:

其中:

• x 表示原始值

• x_min 表示该特征的最小值

• x_max 表示该特征的最大值

• x' 表示归一化后的结果

归一化后的数据具有两个明显特点:

• 所有值都落在同一固定区间内

• 仍然保留原始数据的大小规律

因此,它非常适合用于综合评分、加权比较等场景。

延伸阅读:

AI 术语通俗词典:归一化

3、标准化

标准化通常指 Z-score 标准化,即把每个特征转换为"相对于均值偏离多少个标准差"的形式。

公式为:

其中:

• x 表示原始值

• μ 表示该特征的均值

• σ 表示该特征的标准差

• z 表示标准化后的结果

标准化后的数据不一定落在固定区间内,但其各列通常具有"均值为 0、标准差为 1"的性质。它更适合用于距离计算、聚类分析、近邻查找等任务,因为它能较好地消除不同特征尺度差异对距离度量的干扰。

延伸阅读:

AI 术语通俗词典:标准化

4、两种方法的使用区别

归一化与标准化都属于特征缩放技术,但适用重点不同:

• 当任务强调"统一评分尺度"时,通常使用归一化

• 当任务强调"比较样本之间的差异程度"时,通常使用标准化

本实例中,用户评分采用归一化数据,而用户距离计算采用标准化数据,这也是该类任务中较常见的处理方式。

二、任务分析

1、原始数据与分析目标

现有 5 位用户的行为数据,每位用户包含 4 个特征:月访问次数、月消费金额、平均停留时长和收藏商品数。数据如下:

用户 月访问次数 月消费金额(元) 平均停留时长(分钟) 收藏商品数
A 25 1500 8.5 12
B 8 3500 3.2 5
C 42 800 15.0 28
D 15 5200 5.8 8
E 35 2200 11.3 18

根据要求,需要完成三项任务:

(1)对每个特征进行归一化与标准化

(2)在权重为 [0.3, 0.4, 0.2, 0.1] 的条件下计算用户评分

(3)计算用户之间的距离,并找出最相近的用户

2、数据组织方式

在 NumPy 中,这类数据最适合表示为二维数组:

• 每一行表示一个用户

• 每一列表示一个行为特征

因此,本实例的数据矩阵形状为 (5, 4),即 5 个用户、4 个特征。后续所有按特征进行的统计,如最小值、最大值、均值、标准差,都应按列计算。在 NumPy 中,这通常通过 axis=0 实现。

3、本实例涉及的 NumPy 知识点

本例虽然是一个综合应用题,但所用的 NumPy 知识点并不复杂,主要包括以下几类。

(1)数组创建

使用 np.array() 将原始用户行为数据组织成二维数组,便于后续统一运算。

(2)按列统计

为了进行归一化与标准化,需要先得到每一列特征的统计量:

apache 复制代码
np.min(data, axis=0):求每列最小值np.max(data, axis=0):求每列最大值np.mean(data, axis=0):求每列均值np.std(data, axis=0):求每列标准差

这些结果本身都是长度为 4 的一维数组,分别对应 4 个特征。

(3)广播机制

归一化与标准化都不是逐个元素手工计算,而是直接利用 NumPy 的广播机制完成整列运算。例如:

powershell 复制代码
(data - min_vals) / (max_vals - min_vals)

这里 data 是二维数组,min_vals 和 max_vals 是一维数组。NumPy 会自动将一维数组沿行方向扩展,使每一列与对应统计量进行匹配运算。

(4)点积计算综合评分

用户评分本质上是"特征向量 × 权重向量"的加权求和,因此可以使用:

go 复制代码
np.dot(normalized_data, weights)

若 normalized_data 的形状为 (5, 4),weights 的形状为 (4,),则结果是长度为 5 的一维数组,对应每位用户的综合评分。

(5)距离计算

用户之间的相似程度可通过欧氏距离衡量。

欧氏距离公式为:

在代码中,可先计算两个用户标准化向量的差,再平方、求和、开平方。

延伸阅读:

AI 术语通俗词典:欧氏距离

(6)排序找近邻

要找出某个用户最相近的两个用户,可对该用户与所有用户的距离进行排序。这里会用到:

go 复制代码
np.argsort(distances)

它返回的是"按距离从小到大排序后的下标"。由于每个用户与自身的距离一定为 0,因此排序后的第一个下标就是当前用户自己,需要从后面的结果中取最近邻。

延伸阅读:

NumPy 函数手册:排序与搜索

4、处理流程设计

本实例可以按以下顺序完成:

(1)构造原始用户行为数据数组;

(2)分别计算归一化数据和标准化数据;

(3)使用归一化数据进行加权评分;

(4)使用标准化数据计算用户距离矩阵;

(5)根据距离矩阵找出每个用户的最近邻,并进一步找出全局最相近的用户对。

这一流程体现了一个比较完整的数据分析基本框架:

数据准备 → 特征预处理 → 指标计算 → 相似性分析

三、示例代码

python 复制代码
import numpy as np
# =====================================# 1. 创建原始数据# 每一行表示一个用户# 每一列依次表示:# [月访问次数, 月消费金额, 平均停留时长, 收藏商品数]# 使用 dtype=float,便于后续归一化和标准化时得到浮点结果# =====================================data = np.array([    [25, 1500,  8.5, 12],   # 用户A    [8,  3500,  3.2, 5],    # 用户B    [42, 800,  15.0, 28],   # 用户C    [15, 5200,  5.8, 8],    # 用户D    [35, 2200, 11.3, 18]    # 用户E], dtype=float)
# 保存用户名称,便于输出结果时显示users = np.array(["A", "B", "C", "D", "E"])

# =====================================# 2. 归一化(Min-Max Scaling)# 公式:# x' = (x - x_min) / (x_max - x_min)## axis=0 表示按列统计:# - min_vals 得到每个特征的最小值# - max_vals 得到每个特征的最大值# 结果均是一维数组,长度等于特征数# =====================================min_vals = np.min(data, axis=0)max_vals = np.max(data, axis=0)
# 利用广播机制,让每一列分别减去该列最小值,再除以该列的取值范围normalized_data = (data - min_vals) / (max_vals - min_vals)
print("归一化后的数据:")print(normalized_data)

# =====================================# 3. 标准化(Z-score Standardization)# 公式:# z = (x - μ) / σ## mean_vals:每列均值# std_vals :每列标准差# 标准化后,各列数据以 0 为中心,更适合做距离计算# =====================================mean_vals = np.mean(data, axis=0)std_vals = np.std(data, axis=0)
# 同样利用广播机制,对每一列完成标准化standardized_data = (data - mean_vals) / std_vals
print("\n标准化后的数据:")print(standardized_data)

# =====================================# 4. 计算用户综合评分# 题目给定权重:# [0.3, 0.4, 0.2, 0.1]## 评分使用归一化后的数据,原因是:# 各特征已经被统一压缩到 [0, 1] 区间,# 此时权重才能更合理地体现各指标的重要程度# =====================================weights = np.array([0.3, 0.4, 0.2, 0.1])
# np.dot(normalized_data, weights) 的含义:# 每个用户的一行特征,与权重向量做点积,得到该用户的总评分user_scores = np.dot(normalized_data, weights)
print("\n用户评分:")for user, score in zip(users, user_scores):    print(f"用户{user}:{score:.4f}")

# =====================================# 5. 计算用户之间的欧氏距离# 欧氏距离公式:# d(x, y) = sqrt(sum((x_i - y_i)^2))## 这里使用标准化后的数据,而不是归一化后的数据,# 是因为距离计算更关注"偏离平均水平的程度",# 标准化通常更适合用于相似性分析# =====================================n_users = data.shape[0]
# 创建一个 n_users × n_users 的零矩阵,用来保存距离结果dist_matrix = np.zeros((n_users, n_users))
# 只计算上三角区域(j > i),避免重复计算for i in range(n_users):    for j in range(i + 1, n_users):        # standardized_data[i] 和 standardized_data[j]        # 分别表示第 i 个用户和第 j 个用户的标准化特征向量        diff = standardized_data[i] - standardized_data[j]   # 向量差        sq_diff = diff ** 2                                  # 各维度差值平方        distance = np.sqrt(np.sum(sq_diff))                  # 平方和开根号,得到欧氏距离
        # 距离矩阵关于主对角线对称        dist_matrix[i, j] = distance        dist_matrix[j, i] = distance
print("\n用户距离矩阵:")print(dist_matrix)

# =====================================# 6. 找出每个用户最相近的 2 个用户# np.argsort(distances) 返回按距离从小到大排序后的下标# 由于距离矩阵主对角线上的元素表示用户与自身的距离,恒为 0,# 因此排序后的第一个下标就是当前用户自己# 取 [1:3] 即可得到距离最近的两个其他用户# =====================================print("\n每个用户最相近的 2 个用户:")for i in range(n_users):    distances = dist_matrix[i]    neighbor_indices = np.argsort(distances)[1:3]    nearest_users = users[neighbor_indices]
    print(f"用户{users[i]} 最相近的 2 个用户:{nearest_users[0]}、{nearest_users[1]}")

# =====================================# 7. 找出全局最相近的两个用户# 即:在所有不同用户对中,寻找欧氏距离最小的一对# =====================================min_distance = float("inf")closest_pair = None
for i in range(n_users):    for j in range(i + 1, n_users):        if dist_matrix[i, j] < min_distance:            min_distance = dist_matrix[i, j]            closest_pair = (users[i], users[j])
print(f"\n全局最相近的两个用户:{closest_pair[0]} 和 {closest_pair[1]}")print(f"它们的距离为:{min_distance:.4f}")

四、结果解读

1、归一化结果的意义

归一化后,每个特征都被压缩到 [0, 1] 区间。

值越接近 1,表示该用户在该特征上越接近整体最大水平;值越接近 0,则说明越接近整体最小水平。

因此,归一化结果适合用于"谁更高、谁更低"的统一比较,也适合做加权评分。

2、标准化结果的意义

标准化后的结果不再表示"绝对大小",而表示"偏离平均水平的程度"。

• 正值表示高于平均水平

• 负值表示低于平均水平

• 绝对值越大,偏离程度越明显。

因此,它更适合用于比较用户行为模式之间的差异。

3、用户评分的意义

本实例给定的权重为:

cs 复制代码
[0.3, 0.4, 0.2, 0.1]

表示四个特征的重要程度分别为:

月访问次数:0.3

月消费金额:0.4

平均停留时长:0.2

收藏商品数:0.1

由于"月消费金额"的权重最高,因此它对最终评分的影响最大。评分越高,说明该用户在综合行为表现上越强。

4、距离矩阵的意义

距离矩阵中的每个元素表示两个用户之间的差异程度。

距离越小,说明两位用户越相似;距离越大,说明二者的行为模式差异越明显。

主对角线上的值恒为 0,因为任意用户与自身的距离总是 0。

📘 小结

归一化和标准化都是常用的特征缩放方法。前者适合综合评分,后者更适合距离计算与相似性分析。本实例借助 NumPy 的数组、按列统计、广播、点积与排序等操作,完成了用户行为数据的预处理、评分与近邻查找,体现了 NumPy 在数据分析中的基础应用。

"点赞有美意,赞赏是鼓励"

相关推荐
Datacarts2 小时前
洞察电商数据:京东商品评论API数据分析
大数据·人工智能·数据分析
A_QXBlms2 小时前
《数据驱动防折叠:利用企微API与数据分析平台构建智能发送决策系统》
数据挖掘·数据分析·企业微信
badhope3 小时前
2025年3月AI领域纪录:从模型开源到智能体价值重估——风云变幻DLC
人工智能·python·深度学习·计算机视觉·数据挖掘
Ujimatsu3 小时前
数据分析相关面试题
sql·数据分析
小陈工4 小时前
2026年3月30日技术资讯洞察:AI算力突破、云原生优化与架构理性回归
开发语言·人工智能·python·云原生·架构·数据挖掘·wasm
cskywit4 小时前
打破“像素级”扫描瓶颈:聚类驱动的4K图像恢复新范式 (解读 Scan Clusters, Not Pixels)
机器学习·数据挖掘·聚类
badhope19 小时前
概率论如何让机器学习不再玄学
人工智能·深度学习·机器学习·数据挖掘·github
编程界一哥20 小时前
R6S DX12画面撕裂怎么设置 2026:从驱动到游戏内的完整调优步骤
数据挖掘
城数派21 小时前
2000-2024年1km精度人口分布栅格数据(全球/全国/分省/分市)
arcgis·信息可视化·数据分析·excel