机器学习中一些场景的模型评估与理解图表

模型评估与理解图表全集

以下是完整的图表分类、解释说明和示例图例:

一、模型性能评估图表

1. ROC曲线 (Receiver Operating Characteristic Curve)

解释说明

  • 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
  • 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
  • 对角线: 随机猜测模型的性能基准
  • AUC值: 曲线下面积,衡量模型整体分类能力(0.5-1.0,越接近1越好)

图例示例

复制代码
ROC曲线示例:
┌─────────────────────────────────┐
│              ROC Curve          │
│      ┌──────────────────┐       │
│      │           xxx    │ AUC=0.92│
│      │        xxx       │       │
│      │     xxx          │       │
│      │   xx             │       │
│      │ xx               │       │
│      │x─────────────────│───────│
│     xx                  │       │
│    x│                   │       │
└─────x───────────────────┴───────┘
      FPR                1.0

2. 精确率-召回率曲线 (Precision-Recall Curve)

解释说明

  • 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
  • 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
  • 适用场景: 类别不平衡的数据集,更关注正例的识别

图例示例

复制代码
P-R曲线示例:
┌─────────────────────────────────┐
│        Precision-Recall Curve   │
│      ┌──────────────────┐       │
│      │xx                │ AP=0.88│
│      │  xx              │       │
│      │    xxx           │       │
│      │       xxx        │       │
│      │         xxx      │       │
│      │           xxxx   │       │
│      │              xxxx│       │
│      │                 x│       │
└──────┼──────────────────┼───────┘
      0.0           Recall 1.0

3. 混淆矩阵 (Confusion Matrix)

解释说明

  • 真正例(TP): 实际为抑郁且预测为抑郁的数量
  • 假正例(FP): 实际非抑郁但预测为抑郁的数量(误报)
  • 真负例(TN): 实际非抑郁且预测为非抑郁的数量
  • 假负例(FN): 实际抑郁但预测为非抑郁的数量(漏报)

图例示例

复制代码
混淆矩阵示例:
┌─────────────────────────────┐
│       混淆矩阵              │
│      ┌───────┬───────┐      │
│      │  TP   │  FP   │      │
│      │  850  │  45   │      │
│      ├───────┼───────┤      │
│      │  FN   │  TN   │      │
│      │  62   │  903  │      │
│      └───────┴───────┘      │
│  准确率: 0.941  F1: 0.927   │
└─────────────────────────────┘

二、模型理解与可解释性图表

4. 特征重要性柱状图 (Feature Importance Bar Chart)

解释说明

  • 显示模型认为最重要的特征排名
  • 长度表示特征对预测结果的相对贡献度
  • 帮助理解模型决策依据

图例示例

复制代码
特征重要性排名:
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄    ███ 0.05
...

5. SHAP摘要图 (SHAP Summary Plot)

解释说明

  • 点的位置: SHAP值,表示特征对单个预测的影响
  • 点的颜色: 特征值的大小(红色高,蓝色低)
  • 纵向排列: 按特征重要性排序
  • 解读: 特征值越高对预测结果的影响方向

图例示例

复制代码
SHAP摘要图:
高 压力值 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
    ○○○○○○○○○○○○○○○○○○
    ○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●

6. SHAP依赖图 (SHAP Dependence Plot)

解释说明

  • 横轴: 某个特征的具体取值
  • 纵轴: 该特征的SHAP值(对预测的影响)
  • 趋势线: 显示特征值与预测影响的非线性关系

图例示例

复制代码
SHAP依赖图 - 睡眠时长:
SHAP值 ↑
    │
 0.3│    ●     ●
    │   ●  ●  ●
 0.1│  ●    ●
    │●
 0.0┼─────●─────●─────●──
    │        ●      ●
-0.1│          ●  ●
    │            ●
    └────────────────────→
     4    6    8    10   睡眠时长

三、训练过程监控图表

7. 学习曲线 (Learning Curve)

解释说明

  • 横轴: 训练样本数量
  • 纵轴: 模型性能得分(准确率/AUC等)
  • 训练得分: 模型在训练集上的表现
  • 验证得分: 模型在验证集上的表现
  • 差距分析: 判断过拟合/欠拟合

图例示例

复制代码
学习曲线:
准确率 ↑
    │
 0.95│    ┌────── 训练得分
    │    /
 0.90│   /┌────── 验证得分
    │  / /
 0.85│ / /
    │/ /
 0.80┼─────────────────→
    1000  5000  10000 样本数

8. 验证曲线 (Validation Curve)

解释说明

  • 横轴: 某个超参数的取值
  • 纵轴: 模型性能得分
  • 分析目的: 找到最优超参数值

图例示例

复制代码
验证曲线 - 树深度:
准确率 ↑
    │
 0.92│      ●━━━━━━ 训练得分
    │     ╱   ●━━━━ 验证得分
 0.90│    ╱         ●
    │   ╱       ●
 0.88│  ╱   ●
    │ ╱ ●
 0.86┼●─────────────────→
    1   3    5    7    树深度

9. 损失曲线 (Loss Curve)

解释说明

  • 横轴: 训练迭代次数
  • 纵轴: 损失函数值
  • 训练损失: 训练集上的损失
  • 验证损失: 验证集上的损失
  • 收敛分析: 判断训练是否充分

图例示例

复制代码
损失曲线:
损失值 ↓
    │
 0.8│●━━━━━━━━━━━━ 训练损失
    │● 
 0.6│●   ●━━━━━━━━ 验证损失
    │  ●
 0.4│    ●
    │     ●
 0.2│      ●●●●●●●●●
    └─────────────────→
        100   200   迭代次数

四、高级分析与业务洞察图表

10. 累计增益图 (Cumulative Gains Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 累计捕获的正例百分比
  • 理想线: 完美模型的性能
  • 基线: 随机选择的性能

图例示例

复制代码
累计增益图:
正例捕获率 ↑
100%│      / 理想模型
    │     /
 80%│    /●━━ 我们的模型
    │   / 
 60%│  /  
    │ /   
 40%│/●━━━━━━ 随机模型
    └─────────────────→
     20%  40%  60%  样本百分比

11. 提升图 (Lift Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 提升倍数(相对于随机选择的改进)
  • 解读: 在前X%的预测中,模型比随机选择好多少倍

图例示例

复制代码
提升图:
提升倍数 ↑
  4 │     ●
    │    ● ●
  3 │   ●   ●
    │  ●     ●
  2 │ ●       ●
    │●         ●●●●●
  1 ┼─────────────────→
     10%  30%  50%  样本百分比

12. 校准曲线 (Calibration Curve)

解释说明

  • 横轴: 预测概率(分箱平均)
  • 纵轴: 实际正例比例
  • 对角线: 完美校准
  • 分析: 模型概率预测的准确性

图例示例

复制代码
校准曲线:
实际概率 ↑
 1.0│         ● 完美校准
    │       ╱
 0.8│     ╱ ● 我们的模型
    │   ╱  
 0.6│ ╱  
    │╱   
 0.4│● 
    └─────────────────→
     0.2  0.5  0.8  预测概率

13. 概率分布直方图 (Probability Distribution Histogram)

解释说明

  • 横轴: 模型预测的概率值
  • 纵轴: 样本数量
  • 颜色区分: 真实标签(抑郁/非抑郁)
  • 分析: 模型置信度的分布情况

图例示例

复制代码
概率分布:
样本数 ↑
    │
 300│    ███        ████
    │   █████      ██████
 200│  ███████    ████████
    │ █████████  ██████████
 100│██████████████████████
    └─────────────────→
     0.0    0.5    1.0  预测概率
     ■ 真实抑郁  □ 真实非抑郁

14. 阈值分析图 (Threshold Analysis)

解释说明

  • 横轴: 分类阈值
  • 多条曲线: 精确率、召回率、F1分数随阈值变化
  • 用途: 选择最佳分类阈值

图例示例

复制代码
阈值分析:
分数 ↑
 1.0│
    │      ●━━━━━━ 精确率
 0.8│     ●     ●━━━━━━ 召回率
    │    ●       ●
 0.6│   ●         ●━━ F1分数
    │  ●           ●
 0.4│ ●             ●
    │●               ●
 0.2┼─────────────────→
     0.2  0.4  0.6  0.8 阈值

五、模型对比图表

15. 模型性能雷达图 (Model Performance Radar Chart)

解释说明

  • 各个轴: 不同的评估指标
  • 多边形: 每个模型的性能轮廓
  • 比较: 直观显示各模型的优劣势

图例示例

复制代码
模型性能雷达图:
     准确率
      /\
     /  \
F1分数  召回率
    |    |
    |    |
精确率  AUC值
    \    /
     \  /
      \/
[逻辑回归] [随机森林] [XGBoost]

16. 模型预测一致性图 (Model Prediction Consistency)

解释说明

  • 横轴: 模型A的预测概率
  • 纵轴: 模型B的预测概率
  • 点分布: 显示两个模型预测的一致性
  • 对角线: 完全一致预测

图例示例

复制代码
预测一致性:
模型B概率 ↑
 1.0│         ●●●
    │       ●●   ●●
 0.8│     ●●       ●●
    │   ●●           ●●
 0.6│ ●●               ●●
    │●                   ●
 0.4│                     ●
    └─────────────────→
     0.4  0.6  0.8  1.0  模型A概率

图表选择指南

根据目的选择图表:

分析目的 推荐图表 主要洞察
整体性能评估 ROC曲线、混淆矩阵 模型分类能力、错误类型
类别不平衡分析 P-R曲线、累计增益图 正例识别能力
模型可解释性 特征重要性、SHAP图 决策依据、关键因素
训练过程监控 学习曲线、损失曲线 过拟合/欠拟合、收敛情况
超参数调优 验证曲线 最优参数选择
概率校准 校准曲线 预测概率的可靠性
业务决策支持 提升图、阈值分析 实际应用策略
模型比较 雷达图、一致性图 模型优劣对比
相关推荐
Li emily3 小时前
解决了加密货币api多币种订阅时的数据乱序问题
人工智能·python·api·fastapi
山川绿水4 小时前
bugku——PWN——overflow2
人工智能·web安全·网络安全
程序员cxuan4 小时前
微信读书官方发了 skills,把我给秀麻了。
人工智能·后端·程序员
存在morning4 小时前
【GO语言开发实践】二 GO 并发快速上手
大数据·开发语言·golang
fake_ss1984 小时前
AI时代学习全栈项目开发的新范式
java·人工智能·学习·架构·个人开发·学习方法
nassi_4 小时前
对AI工程问题的一些思考
大数据·人工智能·hadoop
AI技术控4 小时前
《Transformers are Inherently Succinct》论文解读:从“能表达什么”到“多紧凑地表达”
人工智能·python·深度学习·机器学习·自然语言处理
蔡俊锋4 小时前
AI记忆压缩术:从305GB到7.4GB的魔法
人工智能·ai·ai 记忆
Upsy-Daisy5 小时前
AI Agent 项目学习笔记(二):Spring AI 与 ChatClient 主链路解析
人工智能·笔记·学习
zhangxingchao5 小时前
AI应用开发六:企业知识库
前端·人工智能·后端