python机器学习(02-混淆矩阵及精确率_召回率_F1值计算)

"""

案例:

演示 逻辑回归模型的 评估方式, 即: 精确率, 召回率, F1值.

混淆矩阵解释:

概述:

用来描述 真实值(样本值)中 正例, 反例 和 预测值的正例, 反例的关系的.

名词解释:

真正例(TP, True Positive): 样本值 => 正例, 预测值 => 正例

伪正例(FP, False Positive): 样本值 => 假例, 预测值 => 正例

伪反例(FN, False Negative): 样本值 => 正例, 预测值 => 假例

真反例(TN, True Negative): 样本值 => 假例, 预测值 => 假例

细节:

TP + FP + FN + TN = 样本总数

逻辑回归模型 评估:

方式1: 正确率(准确率)

计算规则: 预测的真实结果 / 样本总数

方式2: 精确率(Precision)

计算规则: tp / (tp + fp)

方式3: 召回率(Recall), 也叫: 查全率 => 预测出的正例 在所有正例中的 占比

计算规则: tp / (tp + fn)

方式4: F1-Score, 简称叫: F1值, 如果对于 精确率 和 召回率都有要求, 则可以直接计算F1值.

计算规则: 2 * 精确率 * 召回率 / (精确率 + 召回率)

方式5: AUC值(了解)

方式6: ROC曲线(了解)

"""

导包

import pandas as pd

from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score

1. 准备 样本集(10条), 6个 => 恶性肿瘤, 4个 => 良性肿瘤. 即: 训练集的标签.

y_train = ['恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '良性', '良性', '良性', '良性']

2. 准备标签.

label = ['恶性', '良性']

dataframe_label = ['恶性(正例)', '良性(假例)']

3. 准备预测值, 即: 模型A => 预测对了3个恶性肿瘤, 预测对了4个良性肿瘤.

y_predict_A = ['恶性', '恶性', '恶性', '良性', '良性', '良性', '良性', '良性', '良性', '良性']

4. 准备预测值, 即: 模型B => 预测对了6个恶性肿瘤, 预测对了1个良性肿瘤.

y_predict_B = ['恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '良性']

5. 基于模型A, 构建: 混淆矩阵(confusion_matrix)

参1: 真实值, 参2: 预测值, 参3: 模型标签

confusion_matrix_A = confusion_matrix(y_train, y_predict_A, labels=label)

print(f'混淆矩阵A: \n {confusion_matrix_A}')

6. 把上述的混淆矩阵, 转成 DataFrame即可.

df_A = pd.DataFrame(confusion_matrix_A, index=dataframe_label, columns=dataframe_label)

print(f'DataFrame对象A: \n {df_A}')

7. 基于模型B, 构建: 混淆矩阵(confusion_matrix), 然后转成DF对象.

confusion_matrix_B = confusion_matrix(y_train, y_predict_B, labels=label)

print(f'混淆矩阵B: \n {confusion_matrix_B}')

把上述的混淆矩阵, 转成 DataFrame即可.

df_B = pd.DataFrame(confusion_matrix_B, index=dataframe_label, columns=dataframe_label)

print(f'DataFrame对象B: \n {df_B}')

8. 分别计算 模型A 和 模型B的 精确率

参1: 真实值, 参2: 预测值, 参3: 正例标签

print(f'模型A的精确率: {precision_score(y_train, y_predict_A, pos_label="恶性")}') # 1.0

print(f'模型B的精确率: {precision_score(y_train, y_predict_B, pos_label="恶性")}') # 0.6666666666666666

9. 分别计算 模型A 和 模型B的 召回率

print(f'模型A的召回率(查全率): {recall_score(y_train, y_predict_A, pos_label="恶性")}') # 1.0

print(f'模型B的召回率(查全率): {recall_score(y_train, y_predict_B, pos_label="恶性")}') # 0.6666666666666666

10. 分别计算 模型A 和 模型B的 F1值.

print(f'模型A的F1-Score(F1值): {f1_score(y_train, y_predict_A, pos_label="恶性")}') # 0.6666666666666666

print(f'模型B的F1-Score(F1值): {f1_score(y_train, y_predict_B, pos_label="恶性")}') # 0.8

相关推荐
Python×CATIA工业智造1 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
IT古董1 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco2 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
狐凄2 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊3 小时前
Python之--基本知识
开发语言·前端·python
笑稀了的野生俊5 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva5 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
路来了5 小时前
Python小工具之PDF合并
开发语言·windows·python
蓝婷儿6 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手6 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链