sklearn—roc_curve,roc_auc_score

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_openml
from sklearn.linear_model import SGDClassifier
from sklearn.metrics import roc_curve
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import roc_auc_score

# 加载数据
mnist = fetch_openml('mnist_784', version=1, parser='auto')
X, y = mnist['data'], mnist['target']
X = np.array(X)
y = np.array(y)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]

# 打乱训练集
shuffle_index = np.random.permutation(60000)
X_train, y_train = X_train[shuffle_index], y_train[shuffle_index]

# 创建二元标签
y_train_5 = (y_train == '5')
y_test_5 = (y_test == '5')

# 训练模型
clf = SGDClassifier(random_state=42)
clf.fit(X_train, y_train_5)

# 使用交叉验证预测获取决策分数
y_scores = cross_val_predict(clf, X_train, y_train_5, method="decision_function")

# 计算ROC曲线
fpr, tpr, thresholds = roc_curve(y_train_5, y_scores)

# 绘制ROC曲线
plt.plot(fpr, tpr, label="ROC Curve")
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()

# 计算ROC曲线下面积auc
auc = roc_auc_score(y_train_5, y_scores)
print(auc)

1. 使用交叉验证预测获取决策分数

y_scores = cross_val_predict(clf, X_train, y_train_5, method="decision_function")

获取模型对每个样本的决策分数,这些分数随后被用于计算ROC曲线和AUC分数,以评估模型对于识别数字"5"的性能。

在分类任务中,很多模型不仅可以输出预测类别,还可以输出一个决策分数或概率估计,表示模型对每个类别的置信度。对于二分类问题,SGDClassifier 默认的决策函数返回的是样本属于正类的分数。通过指定 method="decision_function" ,cross_val_predict 将为每个输入样本返回这个决策分数,而非直接的分类预测(正类或负类)。

2. 计算ROC曲线

fpr, tpr, thresholds = roc_curve(y_train_5, y_scores)

计算 ROC 曲线的各个点,并返回假正例率(False Positive Rate, FPR)、真正例率(True Positive Rate, TPR)以及用于生成这些率的决策阈值(Thresholds)。

3. 计算ROC曲线下面积auc

auc = roc_auc_score(y_train_5, y_scores)

4. thresholds、auc

阈值(Thresholds)

在分类任务中,模型通常输出一个连续的决策分数或概率估计来表示样本属于某个类别的置信度。通过设置不同的阈值,这些连续的分数会被转换为二元的分类结果(例如,正类或负类)。调整阈值会影响到模型的TPR和FPR,进而影响模型的性能表现。

曲线下面积(Area Under the Curve, AUC)

AUC是ROC曲线下的面积,提供了一个量化模型在所有可能的分类阈值下性能的方式。AUC的值介于0和1之间,一个完美的分类器的AUC为1,而一个完全随机的分类器的AUC为0.5。AUC越接近1,表示模型的性能越好。

5. 运行结果


相关推荐
禺垣2 小时前
支持向量机(SVM)分类
机器学习
禺垣2 小时前
协同过滤推荐算法
机器学习
这里有鱼汤2 小时前
90%的人都会搞错的XGBoost预测逻辑,未来到底怎么预测才对?
后端·机器学习
小庞在加油2 小时前
《dlib库中的聚类》算法详解:从原理到实践
c++·算法·机器学习·数据挖掘·聚类
蓝婷儿4 小时前
Python 机器学习核心入门与实战进阶 Day 1 - 分类 vs 回归
python·机器学习·分类
程序员阿超的博客6 小时前
Python 数据分析与机器学习入门 (八):用 Scikit-Learn 跑通第一个机器学习模型
python·机器学习·数据分析·scikit-learn·入门教程·python教程
平和男人杨争争10 小时前
机器学习2——贝叶斯理论下
人工智能·机器学习
归去_来兮10 小时前
支持向量机(SVM)分类
机器学习·支持向量机·分类
IT古董10 天前
【第二章:机器学习与神经网络概述】02.降维算法理论与实践-(1)主成分分析(Principal Component Analysis, PCA)
神经网络·算法·机器学习
大模型最新论文速读10 天前
Agent成本降低46%:缓存规划器的思路模板
人工智能·深度学习·机器学习·缓存·语言模型·自然语言处理