K近邻算法(knn)

核心概念

  1. 算法定义

每个样本由其最接近的K个邻近样本代表(K通常≤20)。

对新数据分类时,提取训练集中特征最相似的K个样本,统计其类别频率,将最高频类别作为预测结果。

  1. 算法步骤

① 计算新数据与所有训练样本的距离;

② 按距离递增排序;

③ 选取距离最小的K个点;

④ 统计K个点的类别频率;

⑤ 返回频率最高的类别作为预测分类。

距离度量方法

  1. 欧氏距离

多维空间中的绝对距离。

公式(n维):

d = \\sqrt{\\sum_{i=1}\^{n}(x_i - y_i)\^2}

  1. 曼哈顿距离

坐标轴上的绝对轴距总和。

公式(二维):

d = \|x_1 - x_2\| + \|y_1 - y_2\|

实战案例:鸢尾花分类(基于sklearn)

  1. 数据集

特征:花萼长度/宽度、花瓣长度/宽度(4个特征)。

标签:3种鸢尾花类别(`setosa`, `versicolor`, `virginica`)。

  1. 实现步骤

  2. 加载数据

iris = datasets.load_iris()

X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3)

  1. 创建KNN模型(K=5,欧氏距离)

knn = KNeighborsClassifier(n_neighbors=5, metric="euclidean")

knn.fit(X_train, y_train)

  1. 评估与预测

train_score = knn.score(X_train, y_train) # 训练集准确率

test_score = knn.score(X_test, y_test) # 测试集准确率

y_pred = knn.predict(X_test) # 预测标签

```

相关推荐
小笼包工具箱8 小时前
2025 年六款 AI 视频转文字工具实测分析:功能与场景适配对比
人工智能·文案提取·提取文案·文案提取工具
字节跳动终端技术8 小时前
豆包编程能力升级,新增参考图、画板等多元化输入
人工智能
机器之心8 小时前
DeepSeek的新模型很疯狂:整个AI圈都在研究视觉路线,Karpathy不装了
人工智能·openai
机器之心8 小时前
Anthropic上线了网页版Claude Code
人工智能·openai
lky不吃香菜8 小时前
深度学习入门:从“流水线工人”到“变形金刚”的架构漫游指南
人工智能·机器学习
用户597015044068 小时前
无人机小游戏
人工智能
zhurui_xiaozhuzaizai8 小时前
flash-attention连环问答--softmax 、safe softmax 、online softmax
人工智能
skywalk81638 小时前
在SCNet使用异构海光DCU 部署文心21B大模型报错HIP out of memory(未调通)
人工智能
ASKED_20199 小时前
深度强化学习之123-概念梳理
人工智能