分类算法——KNN算法(二)

什么是K-近邻算法

1KNN原理

K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法,总体来说KNN算法是相对比较容易理解的算法。

  • 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法、

  • 距离公式
    两个样本的距离可以通讨如下公式计算,又叫欧式距离

距离计算有:曼哈顿距离(绝对值距离)、明可关斯基距离

2电影类型分析

其中 ? 号电影不知道类别,如何去预测:利用K近邻算法

3问题

  • 如果取的最近的电影数量不一样,会是什么结果
    • k值取得过小,容易受到异常点的影响
    • k值取得过大,样本不均衡的影响
  • 分析K-近邻算法需要做什么样的处理
    • 无量纲化的处理(标准化)

K-近邻算法API

  • sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
    • n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
    • algorithm:{'auto','ball_tree','kd_tree','brute'},可选用于计算最近邻居的算法:'ball_tree' 将会使用 BallTree,'kd_tree' 将使用 KDTree。'auto'将尝试根据传递给 fit 方法的值来决定最合适的算法。

案例:鸢尾花种类预测

流程:

①获取数据

②数据集划分

③特征工程(标准化)

④KNN预估器流程

⑤模型评估

1数据集介绍

lris数据集是常用的分类实验数据集,由Fisher,1936收集整理。lris也称鸢尾花卉数据集,是一类多重变量分析的数据集。关于数据集的具体介绍:

2代码过程

c 复制代码
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import kNeighborsClassifier

def knn_iris():
	#1)获取数据
	iris=load_iris()
	
	#2)划分数据集
	x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
	
	#3)特征工程:标准化
	transfer=StandardScaler()
	x_train=transfer.fit_transform(x_train)
	x_test=transfer.transform(x_test)
	
	#4)KNN算法预估器
	estimator=KNeighborsClassifierl(n_neighbors=3)
	estimator.fit(x_train, y_train)
	
	#5)模型评估
	#方法1:直接比对真实值和预测值
	y_predict=estimator.predict(x_test)
	print("y_predict:\n",y_predict)
	print("直接比对真实值和预测值:\n",y_test==y _predict)
	#方法2:计算准确率
	score=estimator.score(x_test,y_test)
	print("准确率为:\n",score)

	return None

3运行结果

4结果分析

  • k值取多大?有什么影响?
    • k值取很小:容易受到异常点的影响
    • k值取很大:受到样本均衡的问题
  • 性能问题?
    • 距离计算上面,时间复杂度高

K-近邻总结

  • 优点:
    • 简单,易于理解,易于实现,无需训练
  • 缺点:
    • 懒惰算法,对测试样本分类时的计算量大,内存开销大
    • 必须指定K值,K值选择不当则分类精度不能保证
  • 使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试
相关推荐
冷眼看人间恩怨10 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_8830410811 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
pianmian116 分钟前
python数据结构基础(7)
数据结构·算法
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班3 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型