机器学习中一些场景的模型评估与理解图表

模型评估与理解图表全集

以下是完整的图表分类、解释说明和示例图例:

一、模型性能评估图表

1. ROC曲线 (Receiver Operating Characteristic Curve)

解释说明

  • 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
  • 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
  • 对角线: 随机猜测模型的性能基准
  • AUC值: 曲线下面积,衡量模型整体分类能力(0.5-1.0,越接近1越好)

图例示例

复制代码
ROC曲线示例:
┌─────────────────────────────────┐
│              ROC Curve          │
│      ┌──────────────────┐       │
│      │           xxx    │ AUC=0.92│
│      │        xxx       │       │
│      │     xxx          │       │
│      │   xx             │       │
│      │ xx               │       │
│      │x─────────────────│───────│
│     xx                  │       │
│    x│                   │       │
└─────x───────────────────┴───────┘
      FPR                1.0

2. 精确率-召回率曲线 (Precision-Recall Curve)

解释说明

  • 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
  • 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
  • 适用场景: 类别不平衡的数据集,更关注正例的识别

图例示例

复制代码
P-R曲线示例:
┌─────────────────────────────────┐
│        Precision-Recall Curve   │
│      ┌──────────────────┐       │
│      │xx                │ AP=0.88│
│      │  xx              │       │
│      │    xxx           │       │
│      │       xxx        │       │
│      │         xxx      │       │
│      │           xxxx   │       │
│      │              xxxx│       │
│      │                 x│       │
└──────┼──────────────────┼───────┘
      0.0           Recall 1.0

3. 混淆矩阵 (Confusion Matrix)

解释说明

  • 真正例(TP): 实际为抑郁且预测为抑郁的数量
  • 假正例(FP): 实际非抑郁但预测为抑郁的数量(误报)
  • 真负例(TN): 实际非抑郁且预测为非抑郁的数量
  • 假负例(FN): 实际抑郁但预测为非抑郁的数量(漏报)

图例示例

复制代码
混淆矩阵示例:
┌─────────────────────────────┐
│       混淆矩阵              │
│      ┌───────┬───────┐      │
│      │  TP   │  FP   │      │
│      │  850  │  45   │      │
│      ├───────┼───────┤      │
│      │  FN   │  TN   │      │
│      │  62   │  903  │      │
│      └───────┴───────┘      │
│  准确率: 0.941  F1: 0.927   │
└─────────────────────────────┘

二、模型理解与可解释性图表

4. 特征重要性柱状图 (Feature Importance Bar Chart)

解释说明

  • 显示模型认为最重要的特征排名
  • 长度表示特征对预测结果的相对贡献度
  • 帮助理解模型决策依据

图例示例

复制代码
特征重要性排名:
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄    ███ 0.05
...

5. SHAP摘要图 (SHAP Summary Plot)

解释说明

  • 点的位置: SHAP值,表示特征对单个预测的影响
  • 点的颜色: 特征值的大小(红色高,蓝色低)
  • 纵向排列: 按特征重要性排序
  • 解读: 特征值越高对预测结果的影响方向

图例示例

复制代码
SHAP摘要图:
高 压力值 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
    ○○○○○○○○○○○○○○○○○○
    ○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●

6. SHAP依赖图 (SHAP Dependence Plot)

解释说明

  • 横轴: 某个特征的具体取值
  • 纵轴: 该特征的SHAP值(对预测的影响)
  • 趋势线: 显示特征值与预测影响的非线性关系

图例示例

复制代码
SHAP依赖图 - 睡眠时长:
SHAP值 ↑
    │
 0.3│    ●     ●
    │   ●  ●  ●
 0.1│  ●    ●
    │●
 0.0┼─────●─────●─────●──
    │        ●      ●
-0.1│          ●  ●
    │            ●
    └────────────────────→
     4    6    8    10   睡眠时长

三、训练过程监控图表

7. 学习曲线 (Learning Curve)

解释说明

  • 横轴: 训练样本数量
  • 纵轴: 模型性能得分(准确率/AUC等)
  • 训练得分: 模型在训练集上的表现
  • 验证得分: 模型在验证集上的表现
  • 差距分析: 判断过拟合/欠拟合

图例示例

复制代码
学习曲线:
准确率 ↑
    │
 0.95│    ┌────── 训练得分
    │    /
 0.90│   /┌────── 验证得分
    │  / /
 0.85│ / /
    │/ /
 0.80┼─────────────────→
    1000  5000  10000 样本数

8. 验证曲线 (Validation Curve)

解释说明

  • 横轴: 某个超参数的取值
  • 纵轴: 模型性能得分
  • 分析目的: 找到最优超参数值

图例示例

复制代码
验证曲线 - 树深度:
准确率 ↑
    │
 0.92│      ●━━━━━━ 训练得分
    │     ╱   ●━━━━ 验证得分
 0.90│    ╱         ●
    │   ╱       ●
 0.88│  ╱   ●
    │ ╱ ●
 0.86┼●─────────────────→
    1   3    5    7    树深度

9. 损失曲线 (Loss Curve)

解释说明

  • 横轴: 训练迭代次数
  • 纵轴: 损失函数值
  • 训练损失: 训练集上的损失
  • 验证损失: 验证集上的损失
  • 收敛分析: 判断训练是否充分

图例示例

复制代码
损失曲线:
损失值 ↓
    │
 0.8│●━━━━━━━━━━━━ 训练损失
    │● 
 0.6│●   ●━━━━━━━━ 验证损失
    │  ●
 0.4│    ●
    │     ●
 0.2│      ●●●●●●●●●
    └─────────────────→
        100   200   迭代次数

四、高级分析与业务洞察图表

10. 累计增益图 (Cumulative Gains Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 累计捕获的正例百分比
  • 理想线: 完美模型的性能
  • 基线: 随机选择的性能

图例示例

复制代码
累计增益图:
正例捕获率 ↑
100%│      / 理想模型
    │     /
 80%│    /●━━ 我们的模型
    │   / 
 60%│  /  
    │ /   
 40%│/●━━━━━━ 随机模型
    └─────────────────→
     20%  40%  60%  样本百分比

11. 提升图 (Lift Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 提升倍数(相对于随机选择的改进)
  • 解读: 在前X%的预测中,模型比随机选择好多少倍

图例示例

复制代码
提升图:
提升倍数 ↑
  4 │     ●
    │    ● ●
  3 │   ●   ●
    │  ●     ●
  2 │ ●       ●
    │●         ●●●●●
  1 ┼─────────────────→
     10%  30%  50%  样本百分比

12. 校准曲线 (Calibration Curve)

解释说明

  • 横轴: 预测概率(分箱平均)
  • 纵轴: 实际正例比例
  • 对角线: 完美校准
  • 分析: 模型概率预测的准确性

图例示例

复制代码
校准曲线:
实际概率 ↑
 1.0│         ● 完美校准
    │       ╱
 0.8│     ╱ ● 我们的模型
    │   ╱  
 0.6│ ╱  
    │╱   
 0.4│● 
    └─────────────────→
     0.2  0.5  0.8  预测概率

13. 概率分布直方图 (Probability Distribution Histogram)

解释说明

  • 横轴: 模型预测的概率值
  • 纵轴: 样本数量
  • 颜色区分: 真实标签(抑郁/非抑郁)
  • 分析: 模型置信度的分布情况

图例示例

复制代码
概率分布:
样本数 ↑
    │
 300│    ███        ████
    │   █████      ██████
 200│  ███████    ████████
    │ █████████  ██████████
 100│██████████████████████
    └─────────────────→
     0.0    0.5    1.0  预测概率
     ■ 真实抑郁  □ 真实非抑郁

14. 阈值分析图 (Threshold Analysis)

解释说明

  • 横轴: 分类阈值
  • 多条曲线: 精确率、召回率、F1分数随阈值变化
  • 用途: 选择最佳分类阈值

图例示例

复制代码
阈值分析:
分数 ↑
 1.0│
    │      ●━━━━━━ 精确率
 0.8│     ●     ●━━━━━━ 召回率
    │    ●       ●
 0.6│   ●         ●━━ F1分数
    │  ●           ●
 0.4│ ●             ●
    │●               ●
 0.2┼─────────────────→
     0.2  0.4  0.6  0.8 阈值

五、模型对比图表

15. 模型性能雷达图 (Model Performance Radar Chart)

解释说明

  • 各个轴: 不同的评估指标
  • 多边形: 每个模型的性能轮廓
  • 比较: 直观显示各模型的优劣势

图例示例

复制代码
模型性能雷达图:
     准确率
      /\
     /  \
F1分数  召回率
    |    |
    |    |
精确率  AUC值
    \    /
     \  /
      \/
[逻辑回归] [随机森林] [XGBoost]

16. 模型预测一致性图 (Model Prediction Consistency)

解释说明

  • 横轴: 模型A的预测概率
  • 纵轴: 模型B的预测概率
  • 点分布: 显示两个模型预测的一致性
  • 对角线: 完全一致预测

图例示例

复制代码
预测一致性:
模型B概率 ↑
 1.0│         ●●●
    │       ●●   ●●
 0.8│     ●●       ●●
    │   ●●           ●●
 0.6│ ●●               ●●
    │●                   ●
 0.4│                     ●
    └─────────────────→
     0.4  0.6  0.8  1.0  模型A概率

图表选择指南

根据目的选择图表:

分析目的 推荐图表 主要洞察
整体性能评估 ROC曲线、混淆矩阵 模型分类能力、错误类型
类别不平衡分析 P-R曲线、累计增益图 正例识别能力
模型可解释性 特征重要性、SHAP图 决策依据、关键因素
训练过程监控 学习曲线、损失曲线 过拟合/欠拟合、收敛情况
超参数调优 验证曲线 最优参数选择
概率校准 校准曲线 预测概率的可靠性
业务决策支持 提升图、阈值分析 实际应用策略
模型比较 雷达图、一致性图 模型优劣对比
相关推荐
舒一笑1 分钟前
如何获取最新的技术趋势和热门技术
人工智能·程序员
聚客AI17 分钟前
🎉OpenClaw深度解析:多智能体协同的三种模式、四大必装技能与自动化运维秘籍
人工智能·开源·agent
黄粱梦醒23 分钟前
大模型企业级部署方案-vllm
人工智能·llm
IT_陈寒34 分钟前
JavaScript代码效率提升50%?这5个优化技巧你必须知道!
前端·人工智能·后端
IT_陈寒35 分钟前
Java开发必知的5个性能优化黑科技,提升50%效率不是梦!
前端·人工智能·后端
康斯坦丁师傅1 小时前
发现一个插件,免费用谷歌最新NanoBanana 2
人工智能
emo猫pro_max2 小时前
openclaw飞书流式回复配置指南
人工智能
FishCoderh2 小时前
被OpenClaw的Session搞晕了?这篇让你彻底搞懂
人工智能
孤烟3 小时前
19 万 + GitHub 星标!OpenClaw 凭什么成为 2026 最火 AI Agent,万字实测告诉你
人工智能
字节跳动数据平台4 小时前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据