机器学习中一些场景的模型评估与理解图表

模型评估与理解图表全集

以下是完整的图表分类、解释说明和示例图例：

一、模型性能评估图表

1. ROC曲线 (Receiver Operating Characteristic Curve)

解释说明：

• 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
• 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
• 对角线: 随机猜测模型的性能基准
• AUC值: 曲线下面积，衡量模型整体分类能力（0.5-1.0，越接近1越好）

图例示例：

ROC曲线示例：
┌─────────────────────────────────┐
│              ROC Curve          │
│      ┌──────────────────┐       │
│      │           xxx    │ AUC=0.92│
│      │        xxx       │       │
│      │     xxx          │       │
│      │   xx             │       │
│      │ xx               │       │
│      │x─────────────────│───────│
│     xx                  │       │
│    x│                   │       │
└─────x───────────────────┴───────┘
      FPR                1.0

2. 精确率-召回率曲线 (Precision-Recall Curve)

解释说明：

• 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
• 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
• 适用场景: 类别不平衡的数据集，更关注正例的识别

图例示例：

P-R曲线示例：
┌─────────────────────────────────┐
│        Precision-Recall Curve   │
│      ┌──────────────────┐       │
│      │xx                │ AP=0.88│
│      │  xx              │       │
│      │    xxx           │       │
│      │       xxx        │       │
│      │         xxx      │       │
│      │           xxxx   │       │
│      │              xxxx│       │
│      │                 x│       │
└──────┼──────────────────┼───────┘
      0.0           Recall 1.0

3. 混淆矩阵 (Confusion Matrix)

解释说明：

• 真正例(TP): 实际为抑郁且预测为抑郁的数量
• 假正例(FP): 实际非抑郁但预测为抑郁的数量（误报）
• 真负例(TN): 实际非抑郁且预测为非抑郁的数量
• 假负例(FN): 实际抑郁但预测为非抑郁的数量（漏报）

图例示例：

混淆矩阵示例：
┌─────────────────────────────┐
│       混淆矩阵              │
│      ┌───────┬───────┐      │
│      │  TP   │  FP   │      │
│      │  850  │  45   │      │
│      ├───────┼───────┤      │
│      │  FN   │  TN   │      │
│      │  62   │  903  │      │
│      └───────┴───────┘      │
│  准确率: 0.941  F1: 0.927   │
└─────────────────────────────┘

二、模型理解与可解释性图表

4. 特征重要性柱状图 (Feature Importance Bar Chart)

解释说明：

• 显示模型认为最重要的特征排名
• 长度表示特征对预测结果的相对贡献度
• 帮助理解模型决策依据

图例示例：

特征重要性排名：
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄    ███ 0.05
...

5. SHAP摘要图 (SHAP Summary Plot)

解释说明：

• 点的位置: SHAP值，表示特征对单个预测的影响
• 点的颜色: 特征值的大小（红色高，蓝色低）
• 纵向排列: 按特征重要性排序
• 解读: 特征值越高对预测结果的影响方向

图例示例：

SHAP摘要图：
高 压力值 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
    ○○○○○○○○○○○○○○○○○○
    ○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●

6. SHAP依赖图 (SHAP Dependence Plot)

解释说明：

• 横轴: 某个特征的具体取值
• 纵轴: 该特征的SHAP值（对预测的影响）
• 趋势线: 显示特征值与预测影响的非线性关系

图例示例：

SHAP依赖图 - 睡眠时长：
SHAP值 ↑
    │
 0.3│    ●     ●
    │   ●  ●  ●
 0.1│  ●    ●
    │●
 0.0┼─────●─────●─────●──
    │        ●      ●
-0.1│          ●  ●
    │            ●
    └────────────────────→
     4    6    8    10   睡眠时长

三、训练过程监控图表

7. 学习曲线 (Learning Curve)

解释说明：

• 横轴: 训练样本数量
• 纵轴: 模型性能得分（准确率/AUC等）
• 训练得分: 模型在训练集上的表现
• 验证得分: 模型在验证集上的表现
• 差距分析: 判断过拟合/欠拟合

图例示例：

学习曲线：
准确率 ↑
    │
 0.95│    ┌────── 训练得分
    │    /
 0.90│   /┌────── 验证得分
    │  / /
 0.85│ / /
    │/ /
 0.80┼─────────────────→
    1000  5000  10000 样本数

8. 验证曲线 (Validation Curve)

解释说明：

• 横轴: 某个超参数的取值
• 纵轴: 模型性能得分
• 分析目的: 找到最优超参数值

图例示例：

验证曲线 - 树深度：
准确率 ↑
    │
 0.92│      ●━━━━━━ 训练得分
    │     ╱   ●━━━━ 验证得分
 0.90│    ╱         ●
    │   ╱       ●
 0.88│  ╱   ●
    │ ╱ ●
 0.86┼●─────────────────→
    1   3    5    7    树深度

9. 损失曲线 (Loss Curve)

解释说明：

• 横轴: 训练迭代次数
• 纵轴: 损失函数值
• 训练损失: 训练集上的损失
• 验证损失: 验证集上的损失
• 收敛分析: 判断训练是否充分

图例示例：

损失曲线：
损失值 ↓
    │
 0.8│●━━━━━━━━━━━━ 训练损失
    │● 
 0.6│●   ●━━━━━━━━ 验证损失
    │  ●
 0.4│    ●
    │     ●
 0.2│      ●●●●●●●●●
    └─────────────────→
        100   200   迭代次数

四、高级分析与业务洞察图表

10. 累计增益图 (Cumulative Gains Chart)

解释说明：

• 横轴: 按预测概率排序的样本百分比
• 纵轴: 累计捕获的正例百分比
• 理想线: 完美模型的性能
• 基线: 随机选择的性能

图例示例：

累计增益图：
正例捕获率 ↑
100%│      / 理想模型
    │     /
 80%│    /●━━ 我们的模型
    │   / 
 60%│  /  
    │ /   
 40%│/●━━━━━━ 随机模型
    └─────────────────→
     20%  40%  60%  样本百分比

11. 提升图 (Lift Chart)

解释说明：

• 横轴: 按预测概率排序的样本百分比
• 纵轴: 提升倍数（相对于随机选择的改进）
• 解读: 在前X%的预测中，模型比随机选择好多少倍

图例示例：

提升图：
提升倍数 ↑
  4 │     ●
    │    ● ●
  3 │   ●   ●
    │  ●     ●
  2 │ ●       ●
    │●         ●●●●●
  1 ┼─────────────────→
     10%  30%  50%  样本百分比

12. 校准曲线 (Calibration Curve)

解释说明：

• 横轴: 预测概率（分箱平均）
• 纵轴: 实际正例比例
• 对角线: 完美校准
• 分析: 模型概率预测的准确性

图例示例：

校准曲线：
实际概率 ↑
 1.0│         ● 完美校准
    │       ╱
 0.8│     ╱ ● 我们的模型
    │   ╱  
 0.6│ ╱  
    │╱   
 0.4│● 
    └─────────────────→
     0.2  0.5  0.8  预测概率

13. 概率分布直方图 (Probability Distribution Histogram)

解释说明：

• 横轴: 模型预测的概率值
• 纵轴: 样本数量
• 颜色区分: 真实标签（抑郁/非抑郁）
• 分析: 模型置信度的分布情况

图例示例：

概率分布：
样本数 ↑
    │
 300│    ███        ████
    │   █████      ██████
 200│  ███████    ████████
    │ █████████  ██████████
 100│██████████████████████
    └─────────────────→
     0.0    0.5    1.0  预测概率
     ■ 真实抑郁  □ 真实非抑郁

14. 阈值分析图 (Threshold Analysis)

解释说明：

• 横轴: 分类阈值
• 多条曲线: 精确率、召回率、F1分数随阈值变化
• 用途: 选择最佳分类阈值

图例示例：

阈值分析：
分数 ↑
 1.0│
    │      ●━━━━━━ 精确率
 0.8│     ●     ●━━━━━━ 召回率
    │    ●       ●
 0.6│   ●         ●━━ F1分数
    │  ●           ●
 0.4│ ●             ●
    │●               ●
 0.2┼─────────────────→
     0.2  0.4  0.6  0.8 阈值

五、模型对比图表

15. 模型性能雷达图 (Model Performance Radar Chart)

解释说明：

• 各个轴: 不同的评估指标
• 多边形: 每个模型的性能轮廓
• 比较: 直观显示各模型的优劣势

图例示例：

模型性能雷达图：
     准确率
      /\
     /  \
F1分数  召回率
    |    |
    |    |
精确率  AUC值
    \    /
     \  /
      \/
[逻辑回归] [随机森林] [XGBoost]

16. 模型预测一致性图 (Model Prediction Consistency)

解释说明：

• 横轴: 模型A的预测概率
• 纵轴: 模型B的预测概率
• 点分布: 显示两个模型预测的一致性
• 对角线: 完全一致预测

图例示例：

预测一致性：
模型B概率 ↑
 1.0│         ●●●
    │       ●●   ●●
 0.8│     ●●       ●●
    │   ●●           ●●
 0.6│ ●●               ●●
    │●                   ●
 0.4│                     ●
    └─────────────────→
     0.4  0.6  0.8  1.0  模型A概率

图表选择指南

根据目的选择图表：

分析目的	推荐图表	主要洞察
整体性能评估	ROC曲线、混淆矩阵	模型分类能力、错误类型
类别不平衡分析	P-R曲线、累计增益图	正例识别能力
模型可解释性	特征重要性、SHAP图	决策依据、关键因素
训练过程监控	学习曲线、损失曲线	过拟合/欠拟合、收敛情况
超参数调优	验证曲线	最优参数选择
概率校准	校准曲线	预测概率的可靠性
业务决策支持	提升图、阈值分析	实际应用策略
模型比较	雷达图、一致性图	模型优劣对比