【K近邻分类算法介绍】

文章目录


一、什么是K近邻分类?

K近邻分类是一种基于实例的监督学习方法,其核心思想是在样本空间中寻找与待分类样本最接近的k个邻居,并通过这些邻居的多数投票来确定该样本的类别。

主要特点:

  • 简单直观:训练时只需存储数据,分类时通过计算距离进行决策,无需显式的模型训练过程。
  • 非参数方法:不对数据的分布作任何假设,适用于数据分布未知的情况。
  • 依赖距离度量:常用距离包括欧氏距离、曼哈顿距离等,选择合适的距离度量对算法性能至关重要。

二、K近邻分类的工作原理

  1. 距离计算

    对于两个数据点 x = ( x 1 , x 2 , ... , x n ) 和 y = ( y 1 , y 2 , ... , y n ) x=(x_1,x_2,\ldots,x_n)\text{ 和 }y=(y_1,y_2,\ldots,y_n) x=(x1,x2,...,xn) 和 y=(y1,y2,...,yn),欧氏距离的计算公式为:
    d ( x , y ) = ∑ i = 1 n ( x i − y i ) 2 d(x,y)=\sqrt{\sum_{i=1}^n(x_i-y_i)^2} d(x,y)=∑i=1n(xi−yi)2

    该距离度量帮助我们找到最相似的样本。

  2. 选择k值

    k值(邻居数量)是一个重要的超参数。较小的k值可能导致模型对噪声过于敏感(过拟合),而较大的k值则可能使模型过于平滑,导致欠拟合。通常通过交叉验证来确定最优的k值。

  3. 多数投票决策

    当计算出待分类样本与所有训练样本的距离后,选择距离最小的k个样本,并以这k个样本中出现次数最多的类别作为预测类别。

  4. 权重调整(可选)

    有时可以根据距离给邻居加权,距离较近的样本权重更大,从而提高分类效果。


三、使用步骤

1. 引入库

首先需要导入必要的Python库,包括numpy、pandas、matplotlib,以及scikit-learn中的相关模块。

python 复制代码
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

2. 读入数据

这里使用scikit-learn内置的鸢尾花数据集。该数据集包含150个样本,每个样本有4个特征,分别对应花萼长度、花萼宽度、花瓣长度和花瓣宽度。

python 复制代码
# 加载鸢尾花数据集
iris = load_iris()
X = iris.data    # 特征数据
y = iris.target  # 标签数据

# 查看特征数据的前五行
df_features = pd.DataFrame(X, columns=iris.feature_names)
print("特征数据前五行:\n", df_features.head())
print("标签数据前五个:\n", y[:5])

3. 划分训练集和测试集

为了评估模型效果,将数据集划分为训练集和测试集,常用比例为80%训练集和20%测试集。

python 复制代码
# 划分数据集,测试集占20%
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4. 建立并训练模型

利用scikit-learn中的KNeighborsClassifier来构建kNN模型,设置参数n_neighbors=3表示选取最近的3个邻居进行多数投票,然后用训练数据进行模型拟合。

python 复制代码
# 构建k近邻分类器,设置邻居数量为3
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)

5. 模型预测与评估

训练完成后,使用测试集数据对模型进行验证,计算预测的准确率。

python 复制代码
# 使用测试集进行预测
y_pred = knn.predict(X_test)

# 计算模型的准确率
accuracy = accuracy_score(y_test, y_pred)
print("测试集准确率: {:.2f}%".format(accuracy * 100))

此外还可以通过绘制决策边界、混淆矩阵等方法进一步评估模型效果。

相关推荐
cainiao0806051 小时前
WPS 接入 DeepSeek-R1 深度实践:打造全能AI办公助手
人工智能·wps·ai办公
艾思科蓝 AiScholar1 小时前
【ACM 独立出版 | EI 快检索】2025年数据挖掘与项目管理国际研讨会 (DMPM 2025)
人工智能·网络安全·数据挖掘·数据分析·创业创新·数据可视化·数据库管理员
a小胡哦1 小时前
解锁 AI 核心:神经网络与机器学习知名算法全解析
人工智能·神经网络·机器学习
odoo中国1 小时前
深度学习 Deep Learning 第1章 深度学习简介
人工智能·深度学习·deep learning
极客天成ScaleFlash1 小时前
极客天成 NVFile 并行文件存储:端到端无缓存新范式,为 AI 训练按下“快进键”
人工智能·缓存
刘刚好科技1 小时前
聚力·突破·共赢|修饰组学服务联盟正式成立,共启协同发展新篇章
大数据·人工智能
shaken2 小时前
双3060、Ubuntu22.04、cuda12.8安装deepseek 32b-Q8
人工智能·自然语言处理
小杨4042 小时前
python入门系列七(函数)
人工智能·python·jupyter
tzc_fly2 小时前
Nature | TabPFN:表格基础模型用于小规模数据分析
数据挖掘·数据分析
蚝油菜花2 小时前
Botgroup.chat:超有趣的开源 AI 聊天室!多个 AI 在线互怼,一键搭建你的专属 AI 社群
人工智能·开源