在用户行为分析中,常常需要同时处理多个特征,例如访问次数、消费金额、停留时长、收藏数量等。这些特征虽然都能反映用户活跃程度或消费倾向,但它们的单位、量纲和取值范围通常并不一致。如果直接将原始数据用于综合评分或相似度计算,数值较大的特征往往会对结果产生过强影响,从而削弱分析的合理性。
因此,在正式分析之前,通常需要先进行特征缩放。最常见的两种处理方法就是归一化与标准化。前者通常用于将数据压缩到统一范围,便于综合评分;后者则更适合用于距离计算和相似性分析。
本实例以一组电商平台用户行为数据为例,使用 NumPy 完成以下任务:对用户特征进行归一化和标准化处理,在此基础上计算用户评分,并通过距离计算找出最相近的用户。
一、理论基础
1、特征缩放的意义
在多特征数据分析中,不同特征往往具有不同的数值尺度。
例如,月消费金额可能是数千元,而收藏商品数可能只有十几个。如果不先统一尺度,后续的加权评分、距离度量等计算就容易被大数值特征"主导"。
特征缩放的主要目的有三点:
• 消除不同特征之间的量纲差异
• 避免大范围特征对结果产生不成比例的影响
• 使不同特征能够在同一尺度下共同参与分析
2、归一化
归一化通常指最小---最大归一化,即将某一特征的全部取值线性压缩到 [0, 1] 区间。
公式为:
其中:
• x 表示原始值
• x_min 表示该特征的最小值
• x_max 表示该特征的最大值
• x' 表示归一化后的结果
归一化后的数据具有两个明显特点:
• 所有值都落在同一固定区间内
• 仍然保留原始数据的大小规律
因此,它非常适合用于综合评分、加权比较等场景。
延伸阅读:
3、标准化
标准化通常指 Z-score 标准化,即把每个特征转换为"相对于均值偏离多少个标准差"的形式。
公式为:
其中:
• x 表示原始值
• μ 表示该特征的均值
• σ 表示该特征的标准差
• z 表示标准化后的结果
标准化后的数据不一定落在固定区间内,但其各列通常具有"均值为 0、标准差为 1"的性质。它更适合用于距离计算、聚类分析、近邻查找等任务,因为它能较好地消除不同特征尺度差异对距离度量的干扰。
延伸阅读:
4、两种方法的使用区别
归一化与标准化都属于特征缩放技术,但适用重点不同:
• 当任务强调"统一评分尺度"时,通常使用归一化
• 当任务强调"比较样本之间的差异程度"时,通常使用标准化
本实例中,用户评分采用归一化数据,而用户距离计算采用标准化数据,这也是该类任务中较常见的处理方式。
二、任务分析
1、原始数据与分析目标
现有 5 位用户的行为数据,每位用户包含 4 个特征:月访问次数、月消费金额、平均停留时长和收藏商品数。数据如下:
| 用户 | 月访问次数 | 月消费金额(元) | 平均停留时长(分钟) | 收藏商品数 |
|---|---|---|---|---|
| A | 25 | 1500 | 8.5 | 12 |
| B | 8 | 3500 | 3.2 | 5 |
| C | 42 | 800 | 15.0 | 28 |
| D | 15 | 5200 | 5.8 | 8 |
| E | 35 | 2200 | 11.3 | 18 |
根据要求,需要完成三项任务:
(1)对每个特征进行归一化与标准化
(2)在权重为 [0.3, 0.4, 0.2, 0.1] 的条件下计算用户评分
(3)计算用户之间的距离,并找出最相近的用户
2、数据组织方式
在 NumPy 中,这类数据最适合表示为二维数组:
• 每一行表示一个用户
• 每一列表示一个行为特征
因此,本实例的数据矩阵形状为 (5, 4),即 5 个用户、4 个特征。后续所有按特征进行的统计,如最小值、最大值、均值、标准差,都应按列计算。在 NumPy 中,这通常通过 axis=0 实现。
3、本实例涉及的 NumPy 知识点
本例虽然是一个综合应用题,但所用的 NumPy 知识点并不复杂,主要包括以下几类。
(1)数组创建
使用 np.array() 将原始用户行为数据组织成二维数组,便于后续统一运算。
(2)按列统计
为了进行归一化与标准化,需要先得到每一列特征的统计量:
apache
np.min(data, axis=0):求每列最小值np.max(data, axis=0):求每列最大值np.mean(data, axis=0):求每列均值np.std(data, axis=0):求每列标准差
这些结果本身都是长度为 4 的一维数组,分别对应 4 个特征。
(3)广播机制
归一化与标准化都不是逐个元素手工计算,而是直接利用 NumPy 的广播机制完成整列运算。例如:
powershell
(data - min_vals) / (max_vals - min_vals)
这里 data 是二维数组,min_vals 和 max_vals 是一维数组。NumPy 会自动将一维数组沿行方向扩展,使每一列与对应统计量进行匹配运算。
(4)点积计算综合评分
用户评分本质上是"特征向量 × 权重向量"的加权求和,因此可以使用:
go
np.dot(normalized_data, weights)
若 normalized_data 的形状为 (5, 4),weights 的形状为 (4,),则结果是长度为 5 的一维数组,对应每位用户的综合评分。
(5)距离计算
用户之间的相似程度可通过欧氏距离衡量。
欧氏距离公式为:
在代码中,可先计算两个用户标准化向量的差,再平方、求和、开平方。
延伸阅读:
(6)排序找近邻
要找出某个用户最相近的两个用户,可对该用户与所有用户的距离进行排序。这里会用到:
go
np.argsort(distances)
它返回的是"按距离从小到大排序后的下标"。由于每个用户与自身的距离一定为 0,因此排序后的第一个下标就是当前用户自己,需要从后面的结果中取最近邻。
延伸阅读:
4、处理流程设计
本实例可以按以下顺序完成:
(1)构造原始用户行为数据数组;
(2)分别计算归一化数据和标准化数据;
(3)使用归一化数据进行加权评分;
(4)使用标准化数据计算用户距离矩阵;
(5)根据距离矩阵找出每个用户的最近邻,并进一步找出全局最相近的用户对。
这一流程体现了一个比较完整的数据分析基本框架:
数据准备 → 特征预处理 → 指标计算 → 相似性分析
三、示例代码
python
import numpy as np
# =====================================# 1. 创建原始数据# 每一行表示一个用户# 每一列依次表示:# [月访问次数, 月消费金额, 平均停留时长, 收藏商品数]# 使用 dtype=float,便于后续归一化和标准化时得到浮点结果# =====================================data = np.array([ [25, 1500, 8.5, 12], # 用户A [8, 3500, 3.2, 5], # 用户B [42, 800, 15.0, 28], # 用户C [15, 5200, 5.8, 8], # 用户D [35, 2200, 11.3, 18] # 用户E], dtype=float)
# 保存用户名称,便于输出结果时显示users = np.array(["A", "B", "C", "D", "E"])
# =====================================# 2. 归一化(Min-Max Scaling)# 公式:# x' = (x - x_min) / (x_max - x_min)## axis=0 表示按列统计:# - min_vals 得到每个特征的最小值# - max_vals 得到每个特征的最大值# 结果均是一维数组,长度等于特征数# =====================================min_vals = np.min(data, axis=0)max_vals = np.max(data, axis=0)
# 利用广播机制,让每一列分别减去该列最小值,再除以该列的取值范围normalized_data = (data - min_vals) / (max_vals - min_vals)
print("归一化后的数据:")print(normalized_data)
# =====================================# 3. 标准化(Z-score Standardization)# 公式:# z = (x - μ) / σ## mean_vals:每列均值# std_vals :每列标准差# 标准化后,各列数据以 0 为中心,更适合做距离计算# =====================================mean_vals = np.mean(data, axis=0)std_vals = np.std(data, axis=0)
# 同样利用广播机制,对每一列完成标准化standardized_data = (data - mean_vals) / std_vals
print("\n标准化后的数据:")print(standardized_data)
# =====================================# 4. 计算用户综合评分# 题目给定权重:# [0.3, 0.4, 0.2, 0.1]## 评分使用归一化后的数据,原因是:# 各特征已经被统一压缩到 [0, 1] 区间,# 此时权重才能更合理地体现各指标的重要程度# =====================================weights = np.array([0.3, 0.4, 0.2, 0.1])
# np.dot(normalized_data, weights) 的含义:# 每个用户的一行特征,与权重向量做点积,得到该用户的总评分user_scores = np.dot(normalized_data, weights)
print("\n用户评分:")for user, score in zip(users, user_scores): print(f"用户{user}:{score:.4f}")
# =====================================# 5. 计算用户之间的欧氏距离# 欧氏距离公式:# d(x, y) = sqrt(sum((x_i - y_i)^2))## 这里使用标准化后的数据,而不是归一化后的数据,# 是因为距离计算更关注"偏离平均水平的程度",# 标准化通常更适合用于相似性分析# =====================================n_users = data.shape[0]
# 创建一个 n_users × n_users 的零矩阵,用来保存距离结果dist_matrix = np.zeros((n_users, n_users))
# 只计算上三角区域(j > i),避免重复计算for i in range(n_users): for j in range(i + 1, n_users): # standardized_data[i] 和 standardized_data[j] # 分别表示第 i 个用户和第 j 个用户的标准化特征向量 diff = standardized_data[i] - standardized_data[j] # 向量差 sq_diff = diff ** 2 # 各维度差值平方 distance = np.sqrt(np.sum(sq_diff)) # 平方和开根号,得到欧氏距离
# 距离矩阵关于主对角线对称 dist_matrix[i, j] = distance dist_matrix[j, i] = distance
print("\n用户距离矩阵:")print(dist_matrix)
# =====================================# 6. 找出每个用户最相近的 2 个用户# np.argsort(distances) 返回按距离从小到大排序后的下标# 由于距离矩阵主对角线上的元素表示用户与自身的距离,恒为 0,# 因此排序后的第一个下标就是当前用户自己# 取 [1:3] 即可得到距离最近的两个其他用户# =====================================print("\n每个用户最相近的 2 个用户:")for i in range(n_users): distances = dist_matrix[i] neighbor_indices = np.argsort(distances)[1:3] nearest_users = users[neighbor_indices]
print(f"用户{users[i]} 最相近的 2 个用户:{nearest_users[0]}、{nearest_users[1]}")
# =====================================# 7. 找出全局最相近的两个用户# 即:在所有不同用户对中,寻找欧氏距离最小的一对# =====================================min_distance = float("inf")closest_pair = None
for i in range(n_users): for j in range(i + 1, n_users): if dist_matrix[i, j] < min_distance: min_distance = dist_matrix[i, j] closest_pair = (users[i], users[j])
print(f"\n全局最相近的两个用户:{closest_pair[0]} 和 {closest_pair[1]}")print(f"它们的距离为:{min_distance:.4f}")
四、结果解读
1、归一化结果的意义
归一化后,每个特征都被压缩到 [0, 1] 区间。
值越接近 1,表示该用户在该特征上越接近整体最大水平;值越接近 0,则说明越接近整体最小水平。
因此,归一化结果适合用于"谁更高、谁更低"的统一比较,也适合做加权评分。
2、标准化结果的意义
标准化后的结果不再表示"绝对大小",而表示"偏离平均水平的程度"。
• 正值表示高于平均水平
• 负值表示低于平均水平
• 绝对值越大,偏离程度越明显。
因此,它更适合用于比较用户行为模式之间的差异。
3、用户评分的意义
本实例给定的权重为:
cs
[0.3, 0.4, 0.2, 0.1]
表示四个特征的重要程度分别为:
月访问次数:0.3
月消费金额:0.4
平均停留时长:0.2
收藏商品数:0.1
由于"月消费金额"的权重最高,因此它对最终评分的影响最大。评分越高,说明该用户在综合行为表现上越强。
4、距离矩阵的意义
距离矩阵中的每个元素表示两个用户之间的差异程度。
距离越小,说明两位用户越相似;距离越大,说明二者的行为模式差异越明显。
主对角线上的值恒为 0,因为任意用户与自身的距离总是 0。
📘 小结
归一化和标准化都是常用的特征缩放方法。前者适合综合评分,后者更适合距离计算与相似性分析。本实例借助 NumPy 的数组、按列统计、广播、点积与排序等操作,完成了用户行为数据的预处理、评分与近邻查找,体现了 NumPy 在数据分析中的基础应用。

"点赞有美意,赞赏是鼓励"