机器学习day2

一、KNN算法简介

KNN 算法,或者称 k最邻近算法,是 有监督学习中的分类算法 。它可以用于分类或回归问题,但它通常用作分类算法。

二、KNN分类流程

1.计算未知样本到每一个训练样本的距离

2.将训练样本根据距离大小升序排列

3.取出距离最近的 K 个训练样本

4.进行多数表决,统计 K 个样本中哪个类别的样本个数最多

5.将未知的样本归属到出现次数最多的类别

三、KNN回归流程

1.计算未知样本到每一个训练样本的距离

2.将训练样本根据距离大小升序排列

3.取出距离最近的 K 个训练样本

4.把这个 K 个样本的目标值计算其平均值

5.作为将未知的样本预测的值

四、KNN算法中K的选择

K值过小,过拟合(模型更易受到异常点影响)

K值过大,欠拟合

五、KNN算法API使用

1.分类问题

在scikit-learn中,可以使用KNeighborsClassifier类来实现KNN分类。以下是一个简单的示例:

python 复制代码
# 导包
from sklearn.neighbors import KNeighborsClassifier

# 导数据
x = [[0, 1, 3], [1, 3, 2], [2, 4, 5], [3, 6, 4]]
y = [0, 0, 1, 1]

# 实例化对象
model = KNeighborsClassifier(n_neighbors=3) #参数n_neighbors指定了在预测时使用的邻居数量

# 训练(-->评估)
model.fit(x, y) #fit计算每个数据点之间的距离

# 预测
myret = model.predict([[4, 3, 7]])

print(f'预测值:{myret}')

2.回归问题

对于回归问题,scikit-learn提供了KNeighborsRegressor类。以下是一个简单的示例:

python 复制代码
# 导包
from sklearn.neighbors import KNeighborsRegressor
# 导数据
x = [[1, 2, 3], [2, 4, 5], [2, 3, 6], [4, 5, 1]]
y = [0.1, 0.2, 0.3, 0.4]
# 实例化对象
model = KNeighborsRegressor(n_neighbors=3)
# 训练
model.fit(x, y)
# 评估
mypre = model.predict([[2, 6, 3]])
print(f"预测值:{mypre}")
相关推荐
青少儿编程课堂9 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:网格连通块与岛屿数量(DFS+BFS双解)
c++·python·算法·bfs·信息学竞赛
forest_0920 小时前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
纪念 22921 小时前
C++ 算法基础 (差分)
开发语言·c++·算法
jyOverQ1 天前
从零学 JVM(六):垃圾回收算法详解——标记清除、标记复制与标记整理
jvm·算法
严肃小白兔1 天前
第 06/24 期:神经网络的反向传播算法:从链式法则到梯度计算
人工智能·神经网络·算法
落羽的落羽1 天前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
【心态好不摆烂】1 天前
数据结构基础精讲3
数据结构·算法
漂流瓶jz1 天前
UVA-1613 K度图的着色 题解答案代码 算法竞赛入门经典第二版
算法·深度优先·图论·贪心·aoapc·算法竞赛入门经典·uva
Pniubi1 天前
动态规划入门 ( - 力扣509斐波那契数)
算法·动态规划