K-Means和KNN

主要区别

从无序 ---> 有序

从K-Means ---> KNN

  • KNN:监督学习,类别是已知的,对已知分类的数据进行训练和学习,找到不同类的特征,再对未分类的数据进行分类。
  • K-Means:无监督学习,事先不知道数据有几类,通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。

KNN

原理

将预测点与所有点的距离进行计算,然后保存并排序,选出前面K个值看看哪些类别比较多,则预测的点就属于哪一类。

KNN也可以用于回归预测

算法步骤

对未知类别属性的数据集中每个点依次执行以下操作:

  1. 计算已知类别数据集中的点与当前点之间的距离;
    通常使用的是欧氏距离
  2. 按照距离递增次序排序;
  3. 选取与当前点距离最小的k个点;
    如何确定k?
    通过交叉验证,从选取一个较小的k值开始,不断增加k的值,然后计算验证集合的方差,最终找到一个比较合适的k值。
  4. 确定前k个点所在类别的出现频率;
  5. 返回前k个点出现频率最高的类别作为当前点的预测分类。

K-Means

原理

随机选取质心------计算各样本点和质心的距离后分类------再次选择新的质心

【扩展】

邻近度函数(即距离计算):

(1)曼哈顿距离:质心------中位数,目标函数------最小化对象到簇质心的距离和;

(2)平方欧几里得距离:质心------均值,目标函数------最小化对象到簇质心的距离的平方和;

(3)余弦距离:质心------均值,目标函数------最大化对象与其质心的余弦相似度和;

(4)Bregman散度:质心------均值,目标函数------最小化对象到簇质心的Bregman散度和。

算法步骤

  1. 随机选取k个质心(k值取决于想聚成几类);
  2. 计算样本到质心的距离,距离质心近的归为一类,分为k类;
  3. 求出分类后的每类的新质心;
  4. 再次计算样本到新质心的距离,距离质心距离近的归为一类;
  5. 判断新旧聚类是否相同,如果相同就代表已经聚类成功,如果没有则循环2-4。


相关推荐
BullSmall41 分钟前
汽车HIL测试:电子开发的关键验证环节
人工智能·机器学习·自动驾驶
海洲探索-Hydrovo3 小时前
TTP Aether X 天通透传模块丨国产自主可控大数据双向通讯定位模组
网络·人工智能·科技·算法·信息与通信
2401_841495646 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
Jonkin-Ma6 小时前
每日算法(1)之单链表
算法
晚风残6 小时前
【C++ Primer】第六章:函数
开发语言·c++·算法·c++ primer
杨云强7 小时前
离散积分,相同表达式数组和公式
算法
地平线开发者7 小时前
征程 6 | BPU trace 简介与实操
算法·自动驾驶
满天星83035777 小时前
【C++】AVL树的模拟实现
开发语言·c++·算法·stl
Wnq100727 小时前
如何在移动 的巡检机器人上,实现管道跑冒滴漏的视觉识别
数码相机·opencv·机器学习·计算机视觉·目标跟踪·自动驾驶
Lris-KK7 小时前
力扣Hot100--94.二叉树的中序遍历、144.二叉树的前序遍历、145.二叉树的后序遍历
python·算法·leetcode