《昇思25天学习打卡营第17天|K近邻算法实现红酒聚类》

K近邻算法原理介绍

K近邻算法(K-Nearest-Neighbor, KNN)是一种用于分类和回归的非参数统计方法,最初由 Cover和Hart于1968年提出是机器学习最基础的算法之一。它正是基于以上思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计出这些样本的类别并进行投票,票数最多的那个类就是分类的结果。KNN的三个基本要素:

  • K值,一个样本的分类是由K个邻居的"多数表决"确定的。K值越小,容易受噪声影响,反之,会使类别之间的界限变得模糊。

  • 距离度量,反映了特征空间中两个样本间的相似度,距离越小,越相似。常用的有Lp距离(p=2时,即为欧式距离)、曼哈顿距离、海明距离等。

  • 分类决策规则,通常是多数表决,或者基于距离加权的多数表决(权值与距离成反比)。

  • 数据准备

    • 获取红酒数据集。通常红酒数据集包括多种特征,比如酸度、糖分、酒精度等。
    • 将数据集分为训练集和测试集。
  • 特征提取

    • 对每个红酒样本提取特征。每个样本通常表示为一个多维向量,例如 [x1,x2,...,xn][x_1, x_2, ..., x_n][x1,x2,...,xn],其中 xix_ixi 是红酒的一个特征。
  • 计算距离

    • 使用距离度量(如欧氏距离)计算测试样本与训练集中每个样本的距离。
    • 欧氏距离公式: d(x,y)=∑i=1n(xi−yi)2d(x, y) = \sqrt{\sum_{i=1}^{n}(x_i - y_i)^2}d(x,y)=i=1∑n(xi−yi)2 其中 xxx 和 yyy 分别是两个样本的特征向量。
  • 选择 KKK 值

    • 选择一个适当的 KKK 值。 KKK 通常通过交叉验证来确定。一般来说, KKK 值较小时,模型较复杂,容易过拟合; KKK 值较大时,模型较简单,容易欠拟合。
  • 寻找最近邻

    • 根据计算的距离,找出测试样本的 KKK 个最近邻居。
  • 投票或平均

    • 如果是分类问题,根据 KKK 个最近邻的类别进行投票,得票最多的类别为测试样本的类别。
    • 如果是回归问题,根据 KKK 个最近邻的值计算平均值或加权平均值,作为测试样本的预测值。
  • 模型评估

    • 使用适当的评估指标(如准确率、F1值等)评估模型在测试集上的表现。
相关推荐
2401_8582861114 分钟前
CD21.【C++ Dev】类和对象(12) 流插入运算符的重载
开发语言·c++·算法·类和对象·运算符重载
梭七y36 分钟前
【力扣hot100题】(033)合并K个升序链表
算法·leetcode·链表
月亮被咬碎成星星41 分钟前
LeetCode[383]赎金信
算法·leetcode
无难事者若执1 小时前
新手村:逻辑回归-理解03:逻辑回归中的最大似然函数
算法·机器学习·逻辑回归
IT从业者张某某1 小时前
机器学习-04-分类算法-03KNN算法案例
算法·机器学习·分类
chen_song_1 小时前
WebRTC的ICE之TURN协议的交互流程中继转发Relay媒体数据的turnserver的测试
算法·音视频·webrtc·交互·媒体
蒙奇D索大2 小时前
【数据结构】图解图论:度、路径、连通性,五大概念一网打尽
数据结构·考研·算法·图论·改行学it
uhakadotcom2 小时前
2025年春招:如何使用DeepSeek + 豆包优化简历,轻松敲开心仪公司的大门
算法·面试·github
小白狮ww2 小时前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理
trust Tomorrow3 小时前
每日一题-力扣-2278. 字母在字符串中的百分比 0331
算法·leetcode