模型评估与理解图表全集
以下是完整的图表分类、解释说明和示例图例:
一、模型性能评估图表
1. ROC曲线 (Receiver Operating Characteristic Curve)
解释说明:
- 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
- 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
- 对角线: 随机猜测模型的性能基准
- AUC值: 曲线下面积,衡量模型整体分类能力(0.5-1.0,越接近1越好)
图例示例:
ROC曲线示例:
┌─────────────────────────────────┐
│ ROC Curve │
│ ┌──────────────────┐ │
│ │ xxx │ AUC=0.92│
│ │ xxx │ │
│ │ xxx │ │
│ │ xx │ │
│ │ xx │ │
│ │x─────────────────│───────│
│ xx │ │
│ x│ │ │
└─────x───────────────────┴───────┘
FPR 1.0
2. 精确率-召回率曲线 (Precision-Recall Curve)
解释说明:
- 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
- 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
- 适用场景: 类别不平衡的数据集,更关注正例的识别
图例示例:
P-R曲线示例:
┌─────────────────────────────────┐
│ Precision-Recall Curve │
│ ┌──────────────────┐ │
│ │xx │ AP=0.88│
│ │ xx │ │
│ │ xxx │ │
│ │ xxx │ │
│ │ xxx │ │
│ │ xxxx │ │
│ │ xxxx│ │
│ │ x│ │
└──────┼──────────────────┼───────┘
0.0 Recall 1.0
3. 混淆矩阵 (Confusion Matrix)
解释说明:
- 真正例(TP): 实际为抑郁且预测为抑郁的数量
- 假正例(FP): 实际非抑郁但预测为抑郁的数量(误报)
- 真负例(TN): 实际非抑郁且预测为非抑郁的数量
- 假负例(FN): 实际抑郁但预测为非抑郁的数量(漏报)
图例示例:
混淆矩阵示例:
┌─────────────────────────────┐
│ 混淆矩阵 │
│ ┌───────┬───────┐ │
│ │ TP │ FP │ │
│ │ 850 │ 45 │ │
│ ├───────┼───────┤ │
│ │ FN │ TN │ │
│ │ 62 │ 903 │ │
│ └───────┴───────┘ │
│ 准确率: 0.941 F1: 0.927 │
└─────────────────────────────┘
二、模型理解与可解释性图表
4. 特征重要性柱状图 (Feature Importance Bar Chart)
解释说明:
- 显示模型认为最重要的特征排名
- 长度表示特征对预测结果的相对贡献度
- 帮助理解模型决策依据
图例示例:
特征重要性排名:
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄 ███ 0.05
...
5. SHAP摘要图 (SHAP Summary Plot)
解释说明:
- 点的位置: SHAP值,表示特征对单个预测的影响
- 点的颜色: 特征值的大小(红色高,蓝色低)
- 纵向排列: 按特征重要性排序
- 解读: 特征值越高对预测结果的影响方向
图例示例:
SHAP摘要图:
高 压力值 → 增加抑郁风险 ←
●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
○○○○○○○○○○○○○○○○○○
○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●
6. SHAP依赖图 (SHAP Dependence Plot)
解释说明:
- 横轴: 某个特征的具体取值
- 纵轴: 该特征的SHAP值(对预测的影响)
- 趋势线: 显示特征值与预测影响的非线性关系
图例示例:
SHAP依赖图 - 睡眠时长:
SHAP值 ↑
│
0.3│ ● ●
│ ● ● ●
0.1│ ● ●
│●
0.0┼─────●─────●─────●──
│ ● ●
-0.1│ ● ●
│ ●
└────────────────────→
4 6 8 10 睡眠时长
三、训练过程监控图表
7. 学习曲线 (Learning Curve)
解释说明:
- 横轴: 训练样本数量
- 纵轴: 模型性能得分(准确率/AUC等)
- 训练得分: 模型在训练集上的表现
- 验证得分: 模型在验证集上的表现
- 差距分析: 判断过拟合/欠拟合
图例示例:
学习曲线:
准确率 ↑
│
0.95│ ┌────── 训练得分
│ /
0.90│ /┌────── 验证得分
│ / /
0.85│ / /
│/ /
0.80┼─────────────────→
1000 5000 10000 样本数
8. 验证曲线 (Validation Curve)
解释说明:
- 横轴: 某个超参数的取值
- 纵轴: 模型性能得分
- 分析目的: 找到最优超参数值
图例示例:
验证曲线 - 树深度:
准确率 ↑
│
0.92│ ●━━━━━━ 训练得分
│ ╱ ●━━━━ 验证得分
0.90│ ╱ ●
│ ╱ ●
0.88│ ╱ ●
│ ╱ ●
0.86┼●─────────────────→
1 3 5 7 树深度
9. 损失曲线 (Loss Curve)
解释说明:
- 横轴: 训练迭代次数
- 纵轴: 损失函数值
- 训练损失: 训练集上的损失
- 验证损失: 验证集上的损失
- 收敛分析: 判断训练是否充分
图例示例:
损失曲线:
损失值 ↓
│
0.8│●━━━━━━━━━━━━ 训练损失
│●
0.6│● ●━━━━━━━━ 验证损失
│ ●
0.4│ ●
│ ●
0.2│ ●●●●●●●●●
└─────────────────→
100 200 迭代次数
四、高级分析与业务洞察图表
10. 累计增益图 (Cumulative Gains Chart)
解释说明:
- 横轴: 按预测概率排序的样本百分比
- 纵轴: 累计捕获的正例百分比
- 理想线: 完美模型的性能
- 基线: 随机选择的性能
图例示例:
累计增益图:
正例捕获率 ↑
100%│ / 理想模型
│ /
80%│ /●━━ 我们的模型
│ /
60%│ /
│ /
40%│/●━━━━━━ 随机模型
└─────────────────→
20% 40% 60% 样本百分比
11. 提升图 (Lift Chart)
解释说明:
- 横轴: 按预测概率排序的样本百分比
- 纵轴: 提升倍数(相对于随机选择的改进)
- 解读: 在前X%的预测中,模型比随机选择好多少倍
图例示例:
提升图:
提升倍数 ↑
4 │ ●
│ ● ●
3 │ ● ●
│ ● ●
2 │ ● ●
│● ●●●●●
1 ┼─────────────────→
10% 30% 50% 样本百分比
12. 校准曲线 (Calibration Curve)
解释说明:
- 横轴: 预测概率(分箱平均)
- 纵轴: 实际正例比例
- 对角线: 完美校准
- 分析: 模型概率预测的准确性
图例示例:
校准曲线:
实际概率 ↑
1.0│ ● 完美校准
│ ╱
0.8│ ╱ ● 我们的模型
│ ╱
0.6│ ╱
│╱
0.4│●
└─────────────────→
0.2 0.5 0.8 预测概率
13. 概率分布直方图 (Probability Distribution Histogram)
解释说明:
- 横轴: 模型预测的概率值
- 纵轴: 样本数量
- 颜色区分: 真实标签(抑郁/非抑郁)
- 分析: 模型置信度的分布情况
图例示例:
概率分布:
样本数 ↑
│
300│ ███ ████
│ █████ ██████
200│ ███████ ████████
│ █████████ ██████████
100│██████████████████████
└─────────────────→
0.0 0.5 1.0 预测概率
■ 真实抑郁 □ 真实非抑郁
14. 阈值分析图 (Threshold Analysis)
解释说明:
- 横轴: 分类阈值
- 多条曲线: 精确率、召回率、F1分数随阈值变化
- 用途: 选择最佳分类阈值
图例示例:
阈值分析:
分数 ↑
1.0│
│ ●━━━━━━ 精确率
0.8│ ● ●━━━━━━ 召回率
│ ● ●
0.6│ ● ●━━ F1分数
│ ● ●
0.4│ ● ●
│● ●
0.2┼─────────────────→
0.2 0.4 0.6 0.8 阈值
五、模型对比图表
15. 模型性能雷达图 (Model Performance Radar Chart)
解释说明:
- 各个轴: 不同的评估指标
- 多边形: 每个模型的性能轮廓
- 比较: 直观显示各模型的优劣势
图例示例:
模型性能雷达图:
准确率
/\
/ \
F1分数 召回率
| |
| |
精确率 AUC值
\ /
\ /
\/
[逻辑回归] [随机森林] [XGBoost]
16. 模型预测一致性图 (Model Prediction Consistency)
解释说明:
- 横轴: 模型A的预测概率
- 纵轴: 模型B的预测概率
- 点分布: 显示两个模型预测的一致性
- 对角线: 完全一致预测
图例示例:
预测一致性:
模型B概率 ↑
1.0│ ●●●
│ ●● ●●
0.8│ ●● ●●
│ ●● ●●
0.6│ ●● ●●
│● ●
0.4│ ●
└─────────────────→
0.4 0.6 0.8 1.0 模型A概率
图表选择指南
根据目的选择图表:
分析目的 | 推荐图表 | 主要洞察 |
---|---|---|
整体性能评估 | ROC曲线、混淆矩阵 | 模型分类能力、错误类型 |
类别不平衡分析 | P-R曲线、累计增益图 | 正例识别能力 |
模型可解释性 | 特征重要性、SHAP图 | 决策依据、关键因素 |
训练过程监控 | 学习曲线、损失曲线 | 过拟合/欠拟合、收敛情况 |
超参数调优 | 验证曲线 | 最优参数选择 |
概率校准 | 校准曲线 | 预测概率的可靠性 |
业务决策支持 | 提升图、阈值分析 | 实际应用策略 |
模型比较 | 雷达图、一致性图 | 模型优劣对比 |