分类算法——KNN算法(二)

什么是K-近邻算法

1KNN原理

K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法,总体来说KNN算法是相对比较容易理解的算法。

  • 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法、

  • 距离公式
    两个样本的距离可以通讨如下公式计算,又叫欧式距离

距离计算有:曼哈顿距离(绝对值距离)、明可关斯基距离

2电影类型分析

其中 ? 号电影不知道类别,如何去预测:利用K近邻算法

3问题

  • 如果取的最近的电影数量不一样,会是什么结果
    • k值取得过小,容易受到异常点的影响
    • k值取得过大,样本不均衡的影响
  • 分析K-近邻算法需要做什么样的处理
    • 无量纲化的处理(标准化)

K-近邻算法API

  • sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
    • n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
    • algorithm:{'auto','ball_tree','kd_tree','brute'},可选用于计算最近邻居的算法:'ball_tree' 将会使用 BallTree,'kd_tree' 将使用 KDTree。'auto'将尝试根据传递给 fit 方法的值来决定最合适的算法。

案例:鸢尾花种类预测

流程:

①获取数据

②数据集划分

③特征工程(标准化)

④KNN预估器流程

⑤模型评估

1数据集介绍

lris数据集是常用的分类实验数据集,由Fisher,1936收集整理。lris也称鸢尾花卉数据集,是一类多重变量分析的数据集。关于数据集的具体介绍:

2代码过程

c 复制代码
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import kNeighborsClassifier

def knn_iris():
	#1)获取数据
	iris=load_iris()
	
	#2)划分数据集
	x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
	
	#3)特征工程:标准化
	transfer=StandardScaler()
	x_train=transfer.fit_transform(x_train)
	x_test=transfer.transform(x_test)
	
	#4)KNN算法预估器
	estimator=KNeighborsClassifierl(n_neighbors=3)
	estimator.fit(x_train, y_train)
	
	#5)模型评估
	#方法1:直接比对真实值和预测值
	y_predict=estimator.predict(x_test)
	print("y_predict:\n",y_predict)
	print("直接比对真实值和预测值:\n",y_test==y _predict)
	#方法2:计算准确率
	score=estimator.score(x_test,y_test)
	print("准确率为:\n",score)

	return None

3运行结果

4结果分析

  • k值取多大?有什么影响?
    • k值取很小:容易受到异常点的影响
    • k值取很大:受到样本均衡的问题
  • 性能问题?
    • 距离计算上面,时间复杂度高

K-近邻总结

  • 优点:
    • 简单,易于理解,易于实现,无需训练
  • 缺点:
    • 懒惰算法,对测试样本分类时的计算量大,内存开销大
    • 必须指定K值,K值选择不当则分类精度不能保证
  • 使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试
相关推荐
凌冰_6 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
VIP_CQCRE7 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
Pniubi7 小时前
力扣2 . 两数相加
算法·leetcode·职场和发展
戴·菲瑜7 小时前
为什么PPO难以做出顶级棋类引擎
算法·博弈论·rl·ppo
泯泷7 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我8 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁018 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn9 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄9 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下10 小时前
langgraph 全栈项目(三)
前端·人工智能·后端