机器学习中一些场景的模型评估与理解图表

模型评估与理解图表全集

以下是完整的图表分类、解释说明和示例图例:

一、模型性能评估图表

1. ROC曲线 (Receiver Operating Characteristic Curve)

解释说明

  • 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
  • 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
  • 对角线: 随机猜测模型的性能基准
  • AUC值: 曲线下面积,衡量模型整体分类能力(0.5-1.0,越接近1越好)

图例示例

复制代码
ROC曲线示例:
┌─────────────────────────────────┐
│              ROC Curve          │
│      ┌──────────────────┐       │
│      │           xxx    │ AUC=0.92│
│      │        xxx       │       │
│      │     xxx          │       │
│      │   xx             │       │
│      │ xx               │       │
│      │x─────────────────│───────│
│     xx                  │       │
│    x│                   │       │
└─────x───────────────────┴───────┘
      FPR                1.0

2. 精确率-召回率曲线 (Precision-Recall Curve)

解释说明

  • 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
  • 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
  • 适用场景: 类别不平衡的数据集,更关注正例的识别

图例示例

复制代码
P-R曲线示例:
┌─────────────────────────────────┐
│        Precision-Recall Curve   │
│      ┌──────────────────┐       │
│      │xx                │ AP=0.88│
│      │  xx              │       │
│      │    xxx           │       │
│      │       xxx        │       │
│      │         xxx      │       │
│      │           xxxx   │       │
│      │              xxxx│       │
│      │                 x│       │
└──────┼──────────────────┼───────┘
      0.0           Recall 1.0

3. 混淆矩阵 (Confusion Matrix)

解释说明

  • 真正例(TP): 实际为抑郁且预测为抑郁的数量
  • 假正例(FP): 实际非抑郁但预测为抑郁的数量(误报)
  • 真负例(TN): 实际非抑郁且预测为非抑郁的数量
  • 假负例(FN): 实际抑郁但预测为非抑郁的数量(漏报)

图例示例

复制代码
混淆矩阵示例:
┌─────────────────────────────┐
│       混淆矩阵              │
│      ┌───────┬───────┐      │
│      │  TP   │  FP   │      │
│      │  850  │  45   │      │
│      ├───────┼───────┤      │
│      │  FN   │  TN   │      │
│      │  62   │  903  │      │
│      └───────┴───────┘      │
│  准确率: 0.941  F1: 0.927   │
└─────────────────────────────┘

二、模型理解与可解释性图表

4. 特征重要性柱状图 (Feature Importance Bar Chart)

解释说明

  • 显示模型认为最重要的特征排名
  • 长度表示特征对预测结果的相对贡献度
  • 帮助理解模型决策依据

图例示例

复制代码
特征重要性排名:
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄    ███ 0.05
...

5. SHAP摘要图 (SHAP Summary Plot)

解释说明

  • 点的位置: SHAP值,表示特征对单个预测的影响
  • 点的颜色: 特征值的大小(红色高,蓝色低)
  • 纵向排列: 按特征重要性排序
  • 解读: 特征值越高对预测结果的影响方向

图例示例

复制代码
SHAP摘要图:
高 压力值 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
    ○○○○○○○○○○○○○○○○○○
    ○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●

6. SHAP依赖图 (SHAP Dependence Plot)

解释说明

  • 横轴: 某个特征的具体取值
  • 纵轴: 该特征的SHAP值(对预测的影响)
  • 趋势线: 显示特征值与预测影响的非线性关系

图例示例

复制代码
SHAP依赖图 - 睡眠时长:
SHAP值 ↑
    │
 0.3│    ●     ●
    │   ●  ●  ●
 0.1│  ●    ●
    │●
 0.0┼─────●─────●─────●──
    │        ●      ●
-0.1│          ●  ●
    │            ●
    └────────────────────→
     4    6    8    10   睡眠时长

三、训练过程监控图表

7. 学习曲线 (Learning Curve)

解释说明

  • 横轴: 训练样本数量
  • 纵轴: 模型性能得分(准确率/AUC等)
  • 训练得分: 模型在训练集上的表现
  • 验证得分: 模型在验证集上的表现
  • 差距分析: 判断过拟合/欠拟合

图例示例

复制代码
学习曲线:
准确率 ↑
    │
 0.95│    ┌────── 训练得分
    │    /
 0.90│   /┌────── 验证得分
    │  / /
 0.85│ / /
    │/ /
 0.80┼─────────────────→
    1000  5000  10000 样本数

8. 验证曲线 (Validation Curve)

解释说明

  • 横轴: 某个超参数的取值
  • 纵轴: 模型性能得分
  • 分析目的: 找到最优超参数值

图例示例

复制代码
验证曲线 - 树深度:
准确率 ↑
    │
 0.92│      ●━━━━━━ 训练得分
    │     ╱   ●━━━━ 验证得分
 0.90│    ╱         ●
    │   ╱       ●
 0.88│  ╱   ●
    │ ╱ ●
 0.86┼●─────────────────→
    1   3    5    7    树深度

9. 损失曲线 (Loss Curve)

解释说明

  • 横轴: 训练迭代次数
  • 纵轴: 损失函数值
  • 训练损失: 训练集上的损失
  • 验证损失: 验证集上的损失
  • 收敛分析: 判断训练是否充分

图例示例

复制代码
损失曲线:
损失值 ↓
    │
 0.8│●━━━━━━━━━━━━ 训练损失
    │● 
 0.6│●   ●━━━━━━━━ 验证损失
    │  ●
 0.4│    ●
    │     ●
 0.2│      ●●●●●●●●●
    └─────────────────→
        100   200   迭代次数

四、高级分析与业务洞察图表

10. 累计增益图 (Cumulative Gains Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 累计捕获的正例百分比
  • 理想线: 完美模型的性能
  • 基线: 随机选择的性能

图例示例

复制代码
累计增益图:
正例捕获率 ↑
100%│      / 理想模型
    │     /
 80%│    /●━━ 我们的模型
    │   / 
 60%│  /  
    │ /   
 40%│/●━━━━━━ 随机模型
    └─────────────────→
     20%  40%  60%  样本百分比

11. 提升图 (Lift Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 提升倍数(相对于随机选择的改进)
  • 解读: 在前X%的预测中,模型比随机选择好多少倍

图例示例

复制代码
提升图:
提升倍数 ↑
  4 │     ●
    │    ● ●
  3 │   ●   ●
    │  ●     ●
  2 │ ●       ●
    │●         ●●●●●
  1 ┼─────────────────→
     10%  30%  50%  样本百分比

12. 校准曲线 (Calibration Curve)

解释说明

  • 横轴: 预测概率(分箱平均)
  • 纵轴: 实际正例比例
  • 对角线: 完美校准
  • 分析: 模型概率预测的准确性

图例示例

复制代码
校准曲线:
实际概率 ↑
 1.0│         ● 完美校准
    │       ╱
 0.8│     ╱ ● 我们的模型
    │   ╱  
 0.6│ ╱  
    │╱   
 0.4│● 
    └─────────────────→
     0.2  0.5  0.8  预测概率

13. 概率分布直方图 (Probability Distribution Histogram)

解释说明

  • 横轴: 模型预测的概率值
  • 纵轴: 样本数量
  • 颜色区分: 真实标签(抑郁/非抑郁)
  • 分析: 模型置信度的分布情况

图例示例

复制代码
概率分布:
样本数 ↑
    │
 300│    ███        ████
    │   █████      ██████
 200│  ███████    ████████
    │ █████████  ██████████
 100│██████████████████████
    └─────────────────→
     0.0    0.5    1.0  预测概率
     ■ 真实抑郁  □ 真实非抑郁

14. 阈值分析图 (Threshold Analysis)

解释说明

  • 横轴: 分类阈值
  • 多条曲线: 精确率、召回率、F1分数随阈值变化
  • 用途: 选择最佳分类阈值

图例示例

复制代码
阈值分析:
分数 ↑
 1.0│
    │      ●━━━━━━ 精确率
 0.8│     ●     ●━━━━━━ 召回率
    │    ●       ●
 0.6│   ●         ●━━ F1分数
    │  ●           ●
 0.4│ ●             ●
    │●               ●
 0.2┼─────────────────→
     0.2  0.4  0.6  0.8 阈值

五、模型对比图表

15. 模型性能雷达图 (Model Performance Radar Chart)

解释说明

  • 各个轴: 不同的评估指标
  • 多边形: 每个模型的性能轮廓
  • 比较: 直观显示各模型的优劣势

图例示例

复制代码
模型性能雷达图:
     准确率
      /\
     /  \
F1分数  召回率
    |    |
    |    |
精确率  AUC值
    \    /
     \  /
      \/
[逻辑回归] [随机森林] [XGBoost]

16. 模型预测一致性图 (Model Prediction Consistency)

解释说明

  • 横轴: 模型A的预测概率
  • 纵轴: 模型B的预测概率
  • 点分布: 显示两个模型预测的一致性
  • 对角线: 完全一致预测

图例示例

复制代码
预测一致性:
模型B概率 ↑
 1.0│         ●●●
    │       ●●   ●●
 0.8│     ●●       ●●
    │   ●●           ●●
 0.6│ ●●               ●●
    │●                   ●
 0.4│                     ●
    └─────────────────→
     0.4  0.6  0.8  1.0  模型A概率

图表选择指南

根据目的选择图表:

分析目的 推荐图表 主要洞察
整体性能评估 ROC曲线、混淆矩阵 模型分类能力、错误类型
类别不平衡分析 P-R曲线、累计增益图 正例识别能力
模型可解释性 特征重要性、SHAP图 决策依据、关键因素
训练过程监控 学习曲线、损失曲线 过拟合/欠拟合、收敛情况
超参数调优 验证曲线 最优参数选择
概率校准 校准曲线 预测概率的可靠性
业务决策支持 提升图、阈值分析 实际应用策略
模型比较 雷达图、一致性图 模型优劣对比
相关推荐
格林威5 小时前
近红外工业相机的简单介绍和场景应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造·工业相机
JJJJ_iii5 小时前
【机器学习07】 激活函数精讲、Softmax多分类与优化器进阶
人工智能·笔记·python·算法·机器学习·分类·线性回归
Pocker_Spades_A5 小时前
机器学习之生成对抗网络(GAN)
人工智能·深度学习·生成对抗网络
IT_陈寒5 小时前
Python性能优化:5个被低估但效果惊人的内置函数实战解析
前端·人工智能·后端
海豚调度5 小时前
GSoC 成果公布!印度开发者为 DolphinScheduler 引入通用 OIDC 认证,实现无缝安全访问
大数据·开源·安全认证·oidc·大数据调度·apachedolphinscheduler
北堂飘霜5 小时前
新版简小派的体验
人工智能·求职招聘
想ai抽5 小时前
大数据计算引擎-从源码看Spark AQE对于倾斜的处理
大数据·数据仓库·spark
Theodore_10225 小时前
机器学习(2) 线性回归和代价函数
人工智能·深度学习·机器学习·线性回归·代价函数