【机器学习系列】使用KNN模型进行数据分析和预测的完整流程

目录

一、导入数据

二、选择特征变量

三、划分训练集和测试集

四、训练KNN模型

五、进行预测

六、计算混淆矩阵

七、计算准确率

八、计算精确度

九、计算召回率

十、计算F1值

十一、计算十折交叉验证

十二、选取最优参数K值

(一)设置空列表用于储存分数

[(二) 通过for循环遍历K值](#(二) 通过for循环遍历K值)

[(三) 生成各个K值对应的模型评分](#(三) 生成各个K值对应的模型评分)

[(四) 绘制不同参数K对应的评分的折线图](#(四) 绘制不同参数K对应的评分的折线图)

[(五) 使用最佳参数n_neighbors=17建模](#(五) 使用最佳参数n_neighbors=17建模)


一、导入数据

复制代码
#将华南地区的数据作为样本数据,导入data变量中
import pandas
data = pandas.read_csv('华南地区.csv',encoding='utf8')
复制代码
#导入需要预测的华北地区数据
import pandas
华北地区数据 = pandas.read_csv('华北地区.csv',encoding='utf8')

二、选择特征变量

复制代码
#特征变量
x = data[['注册时长', '营收收入', '成本']]
#目标变量
y = data['是否续约']

三、划分训练集和测试集

复制代码
from sklearn.model_selection import train_test_split

#把数据集分为训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(
    x, y, test_size=0.3
)

四、训练KNN模型

复制代码
from sklearn.neighbors import KNeighborsClassifier
#新建一个KNN模型,设置个数为3
knnModel = KNeighborsClassifier(n_neighbors=3)
#使用训练集训练KNN模型
knnModel.fit(x_train, y_train)
#使用测试集测试KNN模型
knnModel.score(x_test, y_test)

在测试集上的准确率分数如下:

五、进行预测

复制代码
#预测测试数据集的目标变量
y_test_predict = knnModel.predict(x_test)

六、计算混淆矩阵

复制代码
#计算混淆矩阵
from sklearn.metrics import confusion_matrix
confusion_matrix(
    y_test, 
    y_test_predict, 
    labels=['续约', '不续约']
)

七、计算准确率

复制代码
#准确率
from sklearn.metrics import accuracy_score
accuracy_score(y_test, y_test_predict)
#混淆矩阵
#array([[225,  82],
#       [ 56,  87]], dtype=int64)
#(225+87)/(225+82+56+87)

八、计算精确度

复制代码
#精确率
from sklearn.metrics import precision_score
precision_score(y_test, y_test_predict, pos_label="续约")
precision_score(y_test, y_test_predict, pos_label="不续约")
#混淆矩阵
#array([[225,  82],
#       [ 56,  87]], dtype=int64)
#(225)/(225+56)

九、计算召回率

复制代码
#召回率
from sklearn.metrics import recall_score
recall_score(y_test, y_test_predict, pos_label="续约")
recall_score(y_test, y_test_predict, pos_label="不续约")

#混淆矩阵
#array([[225,  82],
#       [ 56,  87]], dtype=int64)
#(225)/(225+82)

十、计算F1值

复制代码
#f1值
from sklearn.metrics import f1_score
f1_score(y_test, y_test_predict, pos_label="续约")
f1_score(y_test, y_test_predict, pos_label="不续约")

#混淆矩阵
#array([[225,  82],
#       [ 56,  87]], dtype=int64)
#2/(1/((225)/(225+56)) + 1/((225)/(225+82)))

十一、计算十折交叉验证

复制代码
from sklearn.model_selection import cross_val_score
#进行K折交叉验证
knnModel = KNeighborsClassifier(n_neighbors=3)
cvs = cross_val_score(knnModel, x, y, cv=10)
cvs
cvs.mean()

十二、选取最优参数K值

(一)设置空列表用于储存分数

复制代码
from sklearn.metrics import make_scorer
#用来保存KNN模型的邻居个数
ks = []
#用来保存准确率
accuracy_means = []
#用来保存精确率
precision_means = []
#用来保存召回率
recall_means = []
#用来保存f1值
f1_means = []

(二) 通过for循环遍历K值

复制代码
#n_neighbors参数,从2到29,一个个尝试
for k in range(2, 30):
    #把n_neighbors参数保存起来
    ks.append(k)
    #改变KNN模型的参数n_neighbors为k
    knnModel = KNeighborsClassifier(n_neighbors=k)
    #计算10折交叉验证的准确率
    accuracy_cvs = cross_val_score(
        knnModel, 
        x, y, cv=10, 
        scoring=make_scorer(accuracy_score)
    )
    #将10折交叉验证的准确率的均值保存起来
    accuracy_means.append(accuracy_cvs.mean())
    #计算10折交叉验证的精确率
    precision_cvs = cross_val_score(
        knnModel, 
        x, y, cv=10, 
        scoring=make_scorer(
            precision_score, 
            pos_label="续约"
        )
    )
    #将10折交叉验证的精确率的均值保存起来
    precision_means.append(precision_cvs.mean())
    #计算10折交叉验证的召回率
    recall_cvs = cross_val_score(
        knnModel, 
        x, y, cv=10, 
        scoring=make_scorer(
            recall_score, 
            pos_label="续约"
        )
    )
    #将10折交叉验证的召回率的均值保存起来
    recall_means.append(recall_cvs.mean())
    #计算10折交叉验证的f1值
    f1_cvs = cross_val_score(
        knnModel, 
        x, y, cv=10, 
        scoring=make_scorer(
            f1_score, 
            pos_label="续约"
        )
    )
    #将10折交叉验证的f1值的均值保存起来
    f1_means.append(f1_cvs.mean())

(三) 生成各个K值对应的模型评分

复制代码
#生成参数对应的模型评分
scores = pandas.DataFrame({
    'k': ks,
    'precision': precision_means,
    'accuracy': accuracy_means,
    'recall': recall_means,
    'f1': f1_means
})

(四) 绘制不同参数K对应的评分的折线图

复制代码
#绘制不同参数对应的评分的折线图
scores.plot(
    x='k', 
    y=['accuracy', 'precision', 'recall', 'f1']
)

(五) 使用最佳参数n_neighbors=17建模

复制代码
#使用最佳参数n_neighbors=17建模
knnModel = KNeighborsClassifier(n_neighbors=17)
#使用所有训练样本训练模型
knnModel.fit(x, y)
#对未知的目标数据进行预测
华北地区数据['预测续约'] = knnModel.predict(
    华北地区数据[['注册时长', '营收收入', '成本']]
)

pandas.options.display.max_columns = None
pandas.options.display.max_rows = None
华北地区数据[['注册时长','营收收入','成本','预测续约']]

预测结果如下:

相关推荐
ONEYAC唯样5 分钟前
“在中国,为中国” 英飞凌汽车业务正式发布中国本土化战略
大数据·人工智能
mozun202010 分钟前
产业观察:哈工大机器人公司2025.4.22
大数据·人工智能·机器人·创业创新·哈尔滨·名校
-一杯为品-13 分钟前
【深度学习】#9 现代循环神经网络
人工智能·rnn·深度学习
硅谷秋水15 分钟前
ORION:通过视觉-语言指令动作生成的一个整体端到端自动驾驶框架
人工智能·深度学习·机器学习·计算机视觉·语言模型·自动驾驶
小墙程序员35 分钟前
机器学习入门(一)什么是机器学习
机器学习
Java中文社群37 分钟前
最火向量数据库Milvus安装使用一条龙!
java·人工智能·后端
豆芽8191 小时前
强化学习(Reinforcement Learning, RL)和深度学习(Deep Learning, DL)
人工智能·深度学习·机器学习·强化学习
Apache Flink1 小时前
京东物流基于Flink & StarRocks的湖仓建设实践
java·大数据·flink
山北雨夜漫步1 小时前
机器学习 Day14 XGboost(极端梯度提升树)算法
人工智能·算法·机器学习
董可伦1 小时前
Flink 源码编译
大数据·flink·源码