什么是K-近邻算法
1KNN原理
K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法,总体来说KNN算法是相对比较容易理解的算法。
- 定义
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
来源:KNN算法最早是由Cover和Hart提出的一种分类算法、
- 距离公式
两个样本的距离可以通讨如下公式计算,又叫欧式距离
距离计算有:曼哈顿距离(绝对值距离)、明可关斯基距离
2电影类型分析
其中 ? 号电影不知道类别,如何去预测:利用K近邻算法
3问题
- 如果取的最近的电影数量不一样,会是什么结果
- k值取得过小,容易受到异常点的影响
- k值取得过大,样本不均衡的影响
- 分析K-近邻算法需要做什么样的处理
- 无量纲化的处理(标准化)
K-近邻算法API
- sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
- n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
- algorithm:{'auto','ball_tree','kd_tree','brute'},可选用于计算最近邻居的算法:'ball_tree' 将会使用 BallTree,'kd_tree' 将使用 KDTree。'auto'将尝试根据传递给 fit 方法的值来决定最合适的算法。
案例:鸢尾花种类预测
流程:
①获取数据
②数据集划分
③特征工程(标准化)
④KNN预估器流程
⑤模型评估
1数据集介绍
lris数据集是常用的分类实验数据集,由Fisher,1936收集整理。lris也称鸢尾花卉数据集,是一类多重变量分析的数据集。关于数据集的具体介绍:
2代码过程
c
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import kNeighborsClassifier
def knn_iris():
#1)获取数据
iris=load_iris()
#2)划分数据集
x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
#3)特征工程:标准化
transfer=StandardScaler()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)
#4)KNN算法预估器
estimator=KNeighborsClassifierl(n_neighbors=3)
estimator.fit(x_train, y_train)
#5)模型评估
#方法1:直接比对真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值:\n",y_test==y _predict)
#方法2:计算准确率
score=estimator.score(x_test,y_test)
print("准确率为:\n",score)
return None
3运行结果
4结果分析
- k值取多大?有什么影响?
- k值取很小:容易受到异常点的影响
- k值取很大:受到样本均衡的问题
- 性能问题?
- 距离计算上面,时间复杂度高
K-近邻总结
- 优点:
- 简单,易于理解,易于实现,无需训练
- 缺点:
- 懒惰算法,对测试样本分类时的计算量大,内存开销大
- 必须指定K值,K值选择不当则分类精度不能保证
- 使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试