【混淆矩阵】Confusion Matrix！定量评价的基础！
如何计算全面、准确的定量指标去衡量模型分类的好坏？？
文章目录
- [【混淆矩阵】Confusion Matrix！定量评价的基础！](#【混淆矩阵】Confusion Matrix！定量评价的基础！)
- [1. 混淆矩阵](#1. 混淆矩阵)
- 2.评价指标
- 3.混淆矩阵及评价指标的实现（Python代码示例）
- 4.多分类问题中的评价指标
- 5.总结
在深度学习的分类问题中，二分类和多分类的结果常用混淆矩阵（Confusion Matrix）来呈现。此外，还有许多评价指标用于衡量模型性能，比如精度（Accuracy）、查准率（Precision）、召回率（Recall）、F1值等。
1. 混淆矩阵
对于二分类问题，混淆矩阵通常是一个 2 × 2 2×2 2×2 的矩阵：
- TP（True Positive）: 预测为正类，且实际为正类。
- FP（False Positive）: 预测为正类，但实际为负类。
- FN（False Negative）: 预测为负类，但实际为正类。
- TN（True Negative）: 预测为负类，且实际为负类。
对于多分类问题，混淆矩阵的维度为 n × n n×n n×n，其中 n n n 是类别数量。每个元素 C i j C_{ij} Cij表示实际类别 i i i被预测为类别 j j j的次数。
2.评价指标
- 精度（Accuracy）
精度是所有预测正确的比例，计算公式为：
- 查准率（Precision）
查准率衡量的是模型在预测为正类的样本中，实际为正类的比例：
- 召回率（Recall）
召回率衡量的是在所有实际为正类的样本中，模型能正确预测为正类的比例：
- F1值（F1-Score）
F1值是 Precision 和 Recall 的调和平均数，用来平衡查准率和召回率：
- 特异度（Specificity）
特异度衡量的是在所有实际为负类的样本中，模型能正确预测为负类的比例：
- ROC曲线与AUC
ROC曲线: 以假正率（FPR）为横轴，真正率（TPR，即召回率）为纵轴的曲线。
AUC（Area Under Curve）: ROC曲线下的面积，表示模型分类能力。
FPR 公式为：
3.混淆矩阵及评价指标的实现（Python代码示例）
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix, accuracy_score, precision_score, recall_score, f1_score, roc_curve, auc
import seaborn as sns
# 模拟真实标签和预测标签
y_true = [0, 1, 1, 0, 1, 0, 1, 0, 0, 1]
y_pred = [0, 0, 1, 0, 1, 0, 1, 1, 0, 1]
# 计算混淆矩阵
cm = confusion_matrix(y_true, y_pred)
print("Confusion Matrix:\n", cm)
# 混淆矩阵的可视化
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()
# 计算各项评价指标
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)
print(f'Accuracy: {accuracy}')
print(f'Precision: {precision}')
print(f'Recall: {recall}')
print(f'F1 Score: {f1}')
# 计算并绘制ROC曲线
fpr, tpr, thresholds = roc_curve(y_true, y_pred)
roc_auc = auc(fpr, tpr)
plt.plot(fpr, tpr, color='blue', label=f'AUC = {roc_auc:.2f}')
plt.plot([0, 1], [0, 1], 'r--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.0])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()
4.多分类问题中的评价指标
在多分类问题中，Precision、Recall 和 F1值可以通过**微平均（micro average）和宏平均（macro average）**来计算：
-
微平均：对所有类的 TP、FP、FN 求和后再计算指标。
-
宏平均 ：分别计算每个类别的 Precision、Recall 和 F1，然后取平均。
你可以通过 average 参数在 sklearn 的 Precision_score、Recall_score 和 F1_score 中选择不同的方式：多分类示例
y_true_multi = [0, 1, 2, 1, 2, 0, 1, 2, 0, 1]
y_pred_multi = [0, 2, 1, 1, 2, 0, 1, 2, 0, 2]计算宏平均和微平均
precision_macro = precision_score(y_true_multi, y_pred_multi, average='macro')
precision_micro = precision_score(y_true_multi, y_pred_multi, average='micro')print(f'Macro Average Precision: {precision_macro}')
print(f'Micro Average Precision: {precision_micro}')
5.总结
-
混淆矩阵提供了一个直观的工具来查看模型的预测效果。
-
评价指标如精度、查准率、召回率、F1值等用于量化模型性能。
-
多分类问题中，可以使用宏平均和微平均来评价模型在多个类别上的表现。