机器学习聚类算法

聚类本质​

无监督学习(无标签数据)

目标:将相似数据分到同一组

​距离度量​

度量类型 公式 特点 适用场景
​欧式距离​ √(∑(x_i - y_i)²) 直线距离 空间连续数据(推荐系统)
​曼哈顿距离​ `∑ x_i - y_i

k均值算法

如图所示:k=4时,值最大

CH指标

​CH指标通过计算类中各点与类中心的距离平方和来度量类内的紧密度;

通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度;

从而,CH越大代表着类自身越紧密,类与类之间越分散,即更优的聚类结果

CH = [B/(K-1)] / [W/(N-K)] B = 类间方差(分离度) W = 类内方差(紧密度)

优点: 简单快速,适合常规数据集

函数

from sklearn.datasets import make_blobs

make_blobs():为聚类产生数据集

|---------------|------------------------------|
| n_samples | 数据样本点个数,默认值100 |
| n_features | 每个样本的特征数,也表示数据的维度,默认值是2 |
| centers | 表示类别数(标签的种类数),默认值3 |
| cluster_std | 每个类别的方差 |
| center_box | 中心确定之后的数据边界,默认值(-10.0, 10.0) |
| shuffle | 是否将数据进行打乱,默认值是True |
| random_state | 随机生成器的种子,可以固定生成的数据 |

代码

复制代码
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

x, y = make_blobs(
    n_samples=1000,
    n_features=2,
    centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
    cluster_std=[0.4, 0.2, 0.2, 0.2],
    random_state=9
)

plt.scatter(x[:, 0], x[:, 1], marker="o")
plt.show()
python 复制代码
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs

# 生成数据(假设之前未执行)
x, _ = make_blobs(n_samples=1000, n_features=2,
                  centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
                  cluster_std=[0.4, 0.2, 0.2, 0.2],
                  random_state=9)

# 聚类并可视化
y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(x)
plt.scatter(x[:, 0], x[:, 1], c=y_pred)
plt.show()

集成算法

核心原则​​:综合多个学习器(模型)的预测结果,比单一模型更优(类似"博采众长")

实现方式​ :通过组合多个弱学习器(如决策树)构建强学习器。

方法分类​

Bagging(并行训练)​

特点​ ​:个体学习器​​相互独立​​,可并行训练。

代表算法​​随机森林(Random Forest)

​双重随机性​ :数据随机采样(Bootstrap)特征随机选择

​优势​ :处理高维数据,无需特征选择输出特征重要性支持并行计算,速度快可可视化分析

输出策略​ :分类任务 → ​投票法​ (少数服从多数)回归任务 → ​平均法

​Sklearn类​RandomForestClassifier(), RandomForestRegressor()

Boosting(串行训练)

特点​ ​:个体学习器​​存在依赖​​,需串行生成,通过调整样本权重逐步改进。

对比

方法​ 训练方式 学习器关系 代表算法 输出策略
​Bagging​ 并行 独立 随机森林 投票/平均
​Boosting​ 串行 强依赖 AdaBoost 加权组合
​Stacking​ 分阶段 异构模型 多模型组合 元模型二次预测
相关推荐
ysa05103018 分钟前
利用数的变形简化大规模问题#数论
c++·笔记·算法
CoookeCola41 分钟前
开源图像与视频过曝检测工具:HSV色彩空间分析与时序平滑处理技术详解
人工智能·深度学习·算法·目标检测·计算机视觉·开源·音视频
DARLING Zero two♡1 小时前
【优选算法】D&C-Mergesort-Harmonies:分治-归并的算法之谐
java·数据结构·c++·算法·leetcode
CoovallyAIHub1 小时前
万字详解:多目标跟踪(MOT)终极指南
深度学习·算法·计算机视觉
wudl55661 小时前
Apache Flink Keyed State 详解之一
算法·flink·apache
CoovallyAIHub2 小时前
Arm重磅加码边缘AI!Flexible Access开放v9平台,实现高端算力普惠
深度学习·算法·计算机视觉
louisdlee.2 小时前
树状数组维护DP——前缀最大值
数据结构·c++·算法·dp
Q741_1472 小时前
C++ 分治 归并排序 归并排序VS快速排序 力扣 912. 排序数组 题解 每日一题
c++·算法·leetcode·归并排序·分治
victory04313 小时前
K8S 安装 部署 文档
算法·贪心算法·kubernetes
蒋星熠3 小时前
分布式计算深度解析:从理论到实践的技术探索
分布式·机器学习·spark·自动化·云计算·边缘计算·mapreduce