机器学习-KNN算法

1.机器学习概述(全部流程)

获取数据:from sklearn.datasets import load_wine

数据处理(数据集划分、标准化):from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

特征工程:from sklearn.featrue_extraction import DictVectorizer(字典列表特征提取)

from sklearn.featrue_extraction import CountVectorizer(文本特征提取)

from sklearn.featrue_extraction import TfidfVectorizer(TF-IDF文本特征词的重要程度特征提取)

这上面是特征提取,可以任选其一。

from sklearn.decomposition imoprt PCA(特征降维)

实例化预估器(生成模型):from sklearn.neighbors import KNeighborsClassifier

训练模型:model.fit(x_train_pca,y_train)

模型评估:model.score(x_test_pca,y_test)

预测数据:model.predict(x_new)

2.knn算法介绍

KNN(K - Nearest Neighbor)即 k 近邻算法 ,是一种基本的监督学习方法,既能用于分类,也能用于回归。

简单来说就是 "物以类聚,人以群分" 。算法假定给定一个训练数据集,其中实例的类别是已知的。在进行分类(或回归)时 ,对于一个新的实例,通过寻找其 k 个最近邻的训练实例 ,依据这些近邻的类别(或数值 )情况,通过多数表决(分类任务 )来预测新实例的类别(或数值 ) 。例如,在判断一个水果是苹果还是梨时,计算该水果与已知苹果和梨在颜色、大小等特征上的距离,选取距离最近的 k 个水果,根据它们中苹果或梨占比多的类别来判断新水果的类别。

简单来说计算步骤就是:

(1)计算实例与训练集中的每一个样本的距离;

(2)确定k的值;

(3)统计这k个值的分类结果,最多的就是实例的分类结果。

3.样本距离判断

3.1欧氏距离--L2距离

3.2曼哈顿距离-L1距离

4.原理

根据K个邻居样本的类别来判断当前样本的类别;

如果一个样本在特征空间中的k个最相似(最邻近)样本中的大多数属于某个类别,则该类本也属于这个类别

比如: 有10000个样本,选出7个到样本A的距离最近的,然后这7个样本中假设:类别1有2个,类别2有3个,类别3有2个.那么就认为A样本属于类别2,因为它的7个邻居中 类别2最多(近朱者赤近墨者黑)

k为邻居数---哪个类型的邻居多,那这个就是什么类型。

5.API

class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

algorithm参数是 KNN 等算法的性能优化工具 ,与模型的预测逻辑无关。在实际开发中,建议使用默认值'auto',系统会根据数据特性自动选择最优方案。只有在对特定场景有深入了解(如高维数据、大规模数据)时,才需手动调整该参数。

6.模型保存与加载

导入库:import joblib

保存模型:joblib.dump(model,'my_ridge.pk1')

加载模型:joblib.load('my_ridge.pk1')

预测数据:y_pred = model.predict(data)

如果想保存在其他路径:

7.KNN葡萄酒案例

根据本文章的第一条内容来写:

也可以再结合模型保存,进行预测数据。这样的好处就是之后不用全部再训练一次,可以直接拿出来用。

python 复制代码
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.neighbors import KNeighborsClassifier
import joblib
# 第一步加载数据
wine = load_wine()
print(wine.data.shape)  #查看数据集形状

# 第二步划分数据集
x_train,x_test,y_train,y_test = train_test_split(wine.data,wine.target,test_size=0.3,random_state=44)
# 将模型划分为训练集和测试集,x为数据内容,y为标签(结果)内容

# 第三步标准化--标准化x
scaler = StandardScaler()
x_train_scaler = scaler.fit_transform(x_train)
x_test_scaler = scaler.transform(x_test)
# print('我是标准化后的x训练集:',x_train_scaler)
# print('我是标准化后的x测试集:',x_test_scaler)

# 第四步特征降维--也是对x进行特征工程处理
pca = PCA(n_components=8) #将原本13个列标签的数据全部降维为8个标签的数据
x_train_pca = pca.fit_transform(x_train_scaler)
x_test_pca = pca.transform(x_test_scaler)
# print('我是降维后的x训练集:',x_train_pca)
# print('我是降维后的x测试集:',x_test_pca)

# 第五步生成模型
estimator = KNeighborsClassifier(n_neighbors=7)
# 紧接着训练模型
estimator.fit(x_train_pca,y_train)

# 第六步预测测试集
y_pred = estimator.predict(x_test_pca)
print('预测x测试集:\n',y_pred)
#对比真实值、预测值:布尔
print('x_test的预测值与真实值y_test直接对比:\n',y_test == y_pred)

# 第七步评估模型准确率
score = estimator.score(x_test_pca,y_test)
print('评分为(准确率为):\n',score)
# 第八步保存模型
joblib.dump(estimator,'机器学习sklearn/srcc/save_model/knn_estimator.pkl')
# 第九步加载模型预测新数据
estimator = joblib.load('机器学习sklearn/srcc/save_model/knn_estimator.pkl')
new_pred = estimator.predict([[12,3,0,6,7,1,9,3]])
print('我是模型加载预测的值:\n',new_pred)

结果:

(178, 13)

预测x测试集:

0 1 0 2 2 0 1 1 0 1 0 0 1 0 1 1 1 0 0 0 0 2 0 0 0 0 2 2 2 1 1 2 1 1 1 0 0 2 2 0 1 1 0 0 1 2 2 1 2 0 1 1 0 1

x_test的预测值与真实值y_test直接对比:

True True True True True True True True True True True False True True True True True True True True True True **False** True True True True True True True True True True True True True True True True True True True True True True True True True True True True True True True

评分为(准确率为):

0.9629629629629629

我是模型加载预测的值:

0

相关推荐
nju_spy几秒前
Kaggle - LLM Science Exam 大模型做科学选择题
人工智能·机器学习·大模型·rag·南京大学·gpu分布计算·wikipedia 维基百科
中國龍在廣州27 分钟前
GPT-5冷酷操盘,游戏狼人杀一战封神!七大LLM狂飙演技,人类玩家看完沉默
人工智能·gpt·深度学习·机器学习·计算机视觉·机器人
东哥说-MES|从入门到精通28 分钟前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
j_xxx404_36 分钟前
数据结构:栈和队列力扣算法题
c语言·数据结构·算法·leetcode·链表
CodeCraft Studio40 分钟前
Aspose.Words for .NET 25.7:支持自建大语言模型(LLM),实现更安全灵活的AI文档处理功能
人工智能·ai·语言模型·llm·.net·智能文档处理·aspose.word
南莺莺40 分钟前
假设一个算术表达式中包含圆括号、方括号和花括号3种类型的括号,编写一个算法来判别,表达式中的括号是否配对,以字符“\0“作为算术表达式的结束符
c语言·数据结构·算法·
山烛43 分钟前
深度学习:CNN 模型训练中的学习率调整(基于 PyTorch)
人工智能·pytorch·python·深度学习·cnn·调整学习率
THMAIL1 小时前
深度学习从入门到精通 - 神经网络核心原理:从生物神经元到数学模型蜕变
人工智能·python·深度学习·神经网络·算法·机器学习·逻辑回归
野犬寒鸦1 小时前
力扣hot100:旋转图像(48)(详细图解以及核心思路剖析)
java·数据结构·后端·算法·leetcode
墨染点香1 小时前
LeetCode 刷题【61. 旋转链表】
算法·leetcode·职场和发展