K-means 算法步骤
K-means 聚类的流程分为两个主要步骤:分配(Assignment)和更新(Update)。以下是详细步骤:
- 选择 K 值: 设定簇的数量 K。
- 初始化簇中心:随机选择 K 个数据点作为初始簇中心(centroids)。
- 分配步骤(Assignment Step): 对于数据集中的每个点,将它分配到最近的簇中心对应的簇。这里的"距离"通常使用欧氏距离(Euclidean distance)。
- 更新步骤(Update Step): 根据当前的簇分配,重新计算每个簇的中心,即计算簇内所有点的均值作为新的簇中心。
- 重复 3 和 4 步:不断重复分配和更新步骤,直到簇中心不再发生变化(收敛)或达到指定的最大迭代次数。
随机森林:
1. 原理
随机森林是一种集成学习方法,它由多个决策树组成,每个决策树都是一个弱学习器。在随机森林中,每个决策树都是基于对训练数据的随机子集进行训练而生成的。在进行预测时,随机森林会对每棵树的预测结果进行平均或投票,以得到最终的预测结果。
2. 工作流程
随机森林回归的工作流程如下:
步骤1:随机选择样本集
从训练数据集中随机选择一个样本集,这个样本集的大小通常和原始训练数据集的大小相同,但是每个样本的选择是随机的,并且可能会有重复。
步骤2:随机选择特征
对于每个决策树的训练过程中,从所有特征中随机选择一个子集。这个子集的大小通常小于总特征数,这样可以保证每个决策树的差异性。
步骤3:训练决策树
使用步骤1和步骤2中选择的样本集和特征子集,训练一个决策树模型。通常使用基尼系数或信息增益等指标来进行节点的划分,直到达到停止条件(如树的深度达到预定值)为止。
步骤4:重复步骤2和步骤3
重复多次步骤2和步骤3,生成多棵决策树。每棵树都是通过不同的样本集和特征子集训练得到的,因此它们之间具有一定的差异性。
步骤5:预测
对于回归问题,随机森林通过对每棵树的预测结果进行平均,得到最终的预测结果。
对于分类问题,对预测结果进行投票,获取投票最多的结果作为分类结果
3. 优缺点
优点:
鲁棒性强: 随机森林能够处理缺失数据和不平衡数据,并且不容易受到噪声的影响。
准确性高: 由于随机森林是通过多棵决策树集成而成,因此通常具有较高的准确性。
可解释性: 可以通过分析每棵树的结构来理解模型的预测过程,提高模型的可解释性。
缺点:
计算资源消耗大: 随机森林由多个决策树组成,训练和预测过程需要消耗大量的计算资源。
可能过拟合: 当训练样本较少或者特征维度较高时,随机森林容易过拟合。
不适合处理高维稀疏数据: 随机森林在处理高维稀疏数据时效果不佳。
KNN算法:
1、原理
K近邻(K-Nearest Neighbors)是一种基于实例的惰性学习 算法,用于分类与回归任务。其核心思想:相似样本在特征空间中距离相近。通过计算待测样本与训练集的距离,选取最近的K个邻居,根据邻居的类别投票决定分类结果。
2、 核心流程
-
输入:带标签的训练集、待分类样本、K值(邻居数)
-
计算距离:待测样本与所有训练样本的距离(如欧氏距离)
-
选择邻居:取距离最近的K个样本
-
投票决策:统计K个邻居的类别标签,多数类即为预测结果
3、K值选择
