机器学习模型从理论到实战|【004-K最近邻算法(KNN)】基于距离的分类和回归


### 文章目录

  • [@[TOC]](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [前言](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [一、什么是 KNN 算法?](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [二、距离度量方式:欧氏距离、曼哈顿距离](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [1.欧氏距离](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [2.曼哈顿距离](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [三.优化与缺点:大数据集的性能问题](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [四. 实战案例:手写数字识别](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [步骤1:数据预处理](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [步骤2:训练模型](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [步骤3:评估模型](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [全部代码](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)
  • [总结](#文章目录 @[TOC] 前言 一、什么是 KNN 算法? 二、距离度量方式:欧氏距离、曼哈顿距离 1.欧氏距离 2.曼哈顿距离 三.优化与缺点:大数据集的性能问题 四. 实战案例:手写数字识别 步骤1:数据预处理 步骤2:训练模型 步骤3:评估模型 全部代码 总结)

前言

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。


一、什么是 KNN 算法?

KNN(K-Nearest Neighbors)算法是一种基于距离的分类和回归方法。它的核心思想是:在一个有标签的数据集中,对于一个新的实例,根据距离度量找到与之最近的K个训练实例,然后基于这K个邻居的信息来预测新实例的标签。在分类问题中,最常见的做法是采用多数投票法,即K个最近邻中出现次数最多的类别将被赋予新实例。而在回归问题中,通常是计算K个最近邻的目标值的平均值作为预测结果。

二、距离度量方式:欧氏距离、曼哈顿距离

1.欧氏距离

欧氏距离是最常用的距离度量方式,它来源于欧几里得几何学,计算公式为:

其中,x 和 y 是两个点,n 是维度的数量。

2.曼哈顿距离

曼哈顿距离,也称为城市街区距离,计算公式为:

三.优化与缺点:大数据集的性能问题

KNN算法的优点在于它的简单性和易于理解,但它也有一些明显的缺点。最主要的问题是在大数据集上的性能问题,尤其是在维度很高的数据集上,计算每个点之间的距离会非常耗时。此外,KNN对异常值也比较敏感,因为距离度量方式会受到异常值的影响。

为了优化KNN算法,可以采取以下措施:

  • 使用更高效的数据结构,如KD树或球树,来减少距离计算的复杂度。
  • 选择合适的K值,通过交叉验证来找到最佳的K值。
  • 归一化或标准化数据,以减少不同特征尺度的影响。

四. 实战案例:手写数字识别

步骤1:数据预处理

首先,我们需要导入必要的库,并加载MNIST数据集。

python 复制代码
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1)
X, y = mnist["data"], mnist["target"]

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1/7, random_state=42)

# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

步骤2:训练模型

使用KNN算法,选择一个合适的K值,例如K=5。

python 复制代码
# 创建KNN模型
knn = KNeighborsClassifier(n_neighbors=5)

# 训练模型
knn.fit(X_train, y_train)

步骤3:评估模型

使用测试集评估模型的准确率。

python 复制代码
# 预测测试集
y_pred = knn.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率:{accuracy:.2f}")

全部代码

python 复制代码
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1)
X, y = mnist["data"], mnist["target"]

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1/7, random_state=42)

# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
# 创建KNN模型
knn = KNeighborsClassifier(n_neighbors=5)

# 训练模型
knn.fit(X_train, y_train)
# 预测测试集
y_pred = knn.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率:{accuracy:.2f}")#模型准确率:0.94

总结

KNN算法以其简单性和有效性在机器学习领域占有一席之地。尽管它在处理大规模数据集时可能面临性能挑战,但通过适当的优化和参数调整,KNN仍然能够提供准确的预测结果。随着技术的不断进步,KNN算法也在不断发展,例如通过集成学习和其他高级技术来提高其性能和鲁棒性。

相关推荐
蹦蹦跳跳真可爱5891 天前
Python----深度学习(基于深度学习Pytroch线性回归和曲线回归)
pytorch·python·深度学习·神经网络·回归·线性回归
SophiaSSSSS1 天前
无标注文本的行业划分(行业分类)算法 —— 无监督或自监督学习
学习·算法·分类
胡耀超1 天前
5.第五章:数据分类的方法论
大数据·人工智能·分类·数据挖掘·数据治理·数据分类·分类分级
缘友一世2 天前
线性回归之归一化(normalization)
算法·回归·线性回归
摸鱼小能手~2 天前
TextCNN 模型文本分类实战:深度学习在自然语言处理中的应用
深度学习·自然语言处理·分类
云天徽上2 天前
【数据可视化-22】脱发因素探索的可视化分析
人工智能·机器学习·信息可视化·分类
梦想的初衷~3 天前
基于机器学习的多光谱遥感图像分类方法研究与定量评估
人工智能·机器学习·分类
www_pp_3 天前
# 基于PyTorch的食品图像分类系统:从训练到部署全流程指南
人工智能·pytorch·分类
云天徽上3 天前
【机器学习案列-21】基于 LightGBM 的智能手机用户行为分类
人工智能·机器学习·智能手机·分类·数据挖掘
爱的叹息4 天前
关于 梯度下降算法、线性回归模型、梯度下降训练线性回归、线性回归的其他训练算法 以及 回归模型分类 的详细说明
人工智能·算法·回归·线性回归