机器学习中一些场景的模型评估与理解图表

模型评估与理解图表全集

以下是完整的图表分类、解释说明和示例图例:

一、模型性能评估图表

1. ROC曲线 (Receiver Operating Characteristic Curve)

解释说明

  • 横轴: 假正率 (False Positive Rate) - 实际为负例但被预测为正例的比例
  • 纵轴: 真正率 (True Positive Rate) - 实际为正例且被预测为正例的比例
  • 对角线: 随机猜测模型的性能基准
  • AUC值: 曲线下面积,衡量模型整体分类能力(0.5-1.0,越接近1越好)

图例示例

复制代码
ROC曲线示例:
┌─────────────────────────────────┐
│              ROC Curve          │
│      ┌──────────────────┐       │
│      │           xxx    │ AUC=0.92│
│      │        xxx       │       │
│      │     xxx          │       │
│      │   xx             │       │
│      │ xx               │       │
│      │x─────────────────│───────│
│     xx                  │       │
│    x│                   │       │
└─────x───────────────────┴───────┘
      FPR                1.0

2. 精确率-召回率曲线 (Precision-Recall Curve)

解释说明

  • 横轴: 召回率 (Recall) - 捕捉到的正例占所有真实正例的比例
  • 纵轴: 精确率 (Precision) - 预测为正例中实际为正例的比例
  • 适用场景: 类别不平衡的数据集,更关注正例的识别

图例示例

复制代码
P-R曲线示例:
┌─────────────────────────────────┐
│        Precision-Recall Curve   │
│      ┌──────────────────┐       │
│      │xx                │ AP=0.88│
│      │  xx              │       │
│      │    xxx           │       │
│      │       xxx        │       │
│      │         xxx      │       │
│      │           xxxx   │       │
│      │              xxxx│       │
│      │                 x│       │
└──────┼──────────────────┼───────┘
      0.0           Recall 1.0

3. 混淆矩阵 (Confusion Matrix)

解释说明

  • 真正例(TP): 实际为抑郁且预测为抑郁的数量
  • 假正例(FP): 实际非抑郁但预测为抑郁的数量(误报)
  • 真负例(TN): 实际非抑郁且预测为非抑郁的数量
  • 假负例(FN): 实际抑郁但预测为非抑郁的数量(漏报)

图例示例

复制代码
混淆矩阵示例:
┌─────────────────────────────┐
│       混淆矩阵              │
│      ┌───────┬───────┐      │
│      │  TP   │  FP   │      │
│      │  850  │  45   │      │
│      ├───────┼───────┤      │
│      │  FN   │  TN   │      │
│      │  62   │  903  │      │
│      └───────┴───────┘      │
│  准确率: 0.941  F1: 0.927   │
└─────────────────────────────┘

二、模型理解与可解释性图表

4. 特征重要性柱状图 (Feature Importance Bar Chart)

解释说明

  • 显示模型认为最重要的特征排名
  • 长度表示特征对预测结果的相对贡献度
  • 帮助理解模型决策依据

图例示例

复制代码
特征重要性排名:
睡眠时长 ████████████████ 0.24
学业压力 ████████████ 0.18
工作压力 ██████████ 0.15
经济压力 ███████ 0.12
家族病史 █████ 0.08
年龄    ███ 0.05
...

5. SHAP摘要图 (SHAP Summary Plot)

解释说明

  • 点的位置: SHAP值,表示特征对单个预测的影响
  • 点的颜色: 特征值的大小(红色高,蓝色低)
  • 纵向排列: 按特征重要性排序
  • 解读: 特征值越高对预测结果的影响方向

图例示例

复制代码
SHAP摘要图:
高 压力值 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
低 睡眠时长 → 增加抑郁风险 ←
    ●●●●●●●●●●●●●●●●●●●
    ●●●●●●●●●●●●●●●●●●●
高 满意度 → 降低抑郁风险 →
    ○○○○○○○○○○○○○○○○○○
    ○○○○○○○○○○○○○○○○○○
特征值: 低 ● 中 ● 高 ●

6. SHAP依赖图 (SHAP Dependence Plot)

解释说明

  • 横轴: 某个特征的具体取值
  • 纵轴: 该特征的SHAP值(对预测的影响)
  • 趋势线: 显示特征值与预测影响的非线性关系

图例示例

复制代码
SHAP依赖图 - 睡眠时长:
SHAP值 ↑
    │
 0.3│    ●     ●
    │   ●  ●  ●
 0.1│  ●    ●
    │●
 0.0┼─────●─────●─────●──
    │        ●      ●
-0.1│          ●  ●
    │            ●
    └────────────────────→
     4    6    8    10   睡眠时长

三、训练过程监控图表

7. 学习曲线 (Learning Curve)

解释说明

  • 横轴: 训练样本数量
  • 纵轴: 模型性能得分(准确率/AUC等)
  • 训练得分: 模型在训练集上的表现
  • 验证得分: 模型在验证集上的表现
  • 差距分析: 判断过拟合/欠拟合

图例示例

复制代码
学习曲线:
准确率 ↑
    │
 0.95│    ┌────── 训练得分
    │    /
 0.90│   /┌────── 验证得分
    │  / /
 0.85│ / /
    │/ /
 0.80┼─────────────────→
    1000  5000  10000 样本数

8. 验证曲线 (Validation Curve)

解释说明

  • 横轴: 某个超参数的取值
  • 纵轴: 模型性能得分
  • 分析目的: 找到最优超参数值

图例示例

复制代码
验证曲线 - 树深度:
准确率 ↑
    │
 0.92│      ●━━━━━━ 训练得分
    │     ╱   ●━━━━ 验证得分
 0.90│    ╱         ●
    │   ╱       ●
 0.88│  ╱   ●
    │ ╱ ●
 0.86┼●─────────────────→
    1   3    5    7    树深度

9. 损失曲线 (Loss Curve)

解释说明

  • 横轴: 训练迭代次数
  • 纵轴: 损失函数值
  • 训练损失: 训练集上的损失
  • 验证损失: 验证集上的损失
  • 收敛分析: 判断训练是否充分

图例示例

复制代码
损失曲线:
损失值 ↓
    │
 0.8│●━━━━━━━━━━━━ 训练损失
    │● 
 0.6│●   ●━━━━━━━━ 验证损失
    │  ●
 0.4│    ●
    │     ●
 0.2│      ●●●●●●●●●
    └─────────────────→
        100   200   迭代次数

四、高级分析与业务洞察图表

10. 累计增益图 (Cumulative Gains Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 累计捕获的正例百分比
  • 理想线: 完美模型的性能
  • 基线: 随机选择的性能

图例示例

复制代码
累计增益图:
正例捕获率 ↑
100%│      / 理想模型
    │     /
 80%│    /●━━ 我们的模型
    │   / 
 60%│  /  
    │ /   
 40%│/●━━━━━━ 随机模型
    └─────────────────→
     20%  40%  60%  样本百分比

11. 提升图 (Lift Chart)

解释说明

  • 横轴: 按预测概率排序的样本百分比
  • 纵轴: 提升倍数(相对于随机选择的改进)
  • 解读: 在前X%的预测中,模型比随机选择好多少倍

图例示例

复制代码
提升图:
提升倍数 ↑
  4 │     ●
    │    ● ●
  3 │   ●   ●
    │  ●     ●
  2 │ ●       ●
    │●         ●●●●●
  1 ┼─────────────────→
     10%  30%  50%  样本百分比

12. 校准曲线 (Calibration Curve)

解释说明

  • 横轴: 预测概率(分箱平均)
  • 纵轴: 实际正例比例
  • 对角线: 完美校准
  • 分析: 模型概率预测的准确性

图例示例

复制代码
校准曲线:
实际概率 ↑
 1.0│         ● 完美校准
    │       ╱
 0.8│     ╱ ● 我们的模型
    │   ╱  
 0.6│ ╱  
    │╱   
 0.4│● 
    └─────────────────→
     0.2  0.5  0.8  预测概率

13. 概率分布直方图 (Probability Distribution Histogram)

解释说明

  • 横轴: 模型预测的概率值
  • 纵轴: 样本数量
  • 颜色区分: 真实标签(抑郁/非抑郁)
  • 分析: 模型置信度的分布情况

图例示例

复制代码
概率分布:
样本数 ↑
    │
 300│    ███        ████
    │   █████      ██████
 200│  ███████    ████████
    │ █████████  ██████████
 100│██████████████████████
    └─────────────────→
     0.0    0.5    1.0  预测概率
     ■ 真实抑郁  □ 真实非抑郁

14. 阈值分析图 (Threshold Analysis)

解释说明

  • 横轴: 分类阈值
  • 多条曲线: 精确率、召回率、F1分数随阈值变化
  • 用途: 选择最佳分类阈值

图例示例

复制代码
阈值分析:
分数 ↑
 1.0│
    │      ●━━━━━━ 精确率
 0.8│     ●     ●━━━━━━ 召回率
    │    ●       ●
 0.6│   ●         ●━━ F1分数
    │  ●           ●
 0.4│ ●             ●
    │●               ●
 0.2┼─────────────────→
     0.2  0.4  0.6  0.8 阈值

五、模型对比图表

15. 模型性能雷达图 (Model Performance Radar Chart)

解释说明

  • 各个轴: 不同的评估指标
  • 多边形: 每个模型的性能轮廓
  • 比较: 直观显示各模型的优劣势

图例示例

复制代码
模型性能雷达图:
     准确率
      /\
     /  \
F1分数  召回率
    |    |
    |    |
精确率  AUC值
    \    /
     \  /
      \/
[逻辑回归] [随机森林] [XGBoost]

16. 模型预测一致性图 (Model Prediction Consistency)

解释说明

  • 横轴: 模型A的预测概率
  • 纵轴: 模型B的预测概率
  • 点分布: 显示两个模型预测的一致性
  • 对角线: 完全一致预测

图例示例

复制代码
预测一致性:
模型B概率 ↑
 1.0│         ●●●
    │       ●●   ●●
 0.8│     ●●       ●●
    │   ●●           ●●
 0.6│ ●●               ●●
    │●                   ●
 0.4│                     ●
    └─────────────────→
     0.4  0.6  0.8  1.0  模型A概率

图表选择指南

根据目的选择图表:

分析目的 推荐图表 主要洞察
整体性能评估 ROC曲线、混淆矩阵 模型分类能力、错误类型
类别不平衡分析 P-R曲线、累计增益图 正例识别能力
模型可解释性 特征重要性、SHAP图 决策依据、关键因素
训练过程监控 学习曲线、损失曲线 过拟合/欠拟合、收敛情况
超参数调优 验证曲线 最优参数选择
概率校准 校准曲线 预测概率的可靠性
业务决策支持 提升图、阈值分析 实际应用策略
模型比较 雷达图、一致性图 模型优劣对比
相关推荐
我没胡说八道44 分钟前
高校论文AI检测优化工具对比研究与实测分析(2026)
人工智能·深度学习·机器学习·计算机视觉·aigc·论文
秦亚伟44 分钟前
AI浪潮重塑融资租赁行业新格局
人工智能
love530love1 小时前
LiveTalking 数字人项目 Windows 部署完全指南(EPGF 架构)
人工智能·windows·python·架构·livetalking·epgf
元启数宇1 小时前
喷淋AI布点实战:8小时人工布点→20分钟自动出图
人工智能
哈哈,柳暗花明1 小时前
人工智能专业术语详解(H)
人工智能·专业术语
圣殿骑士-Khtangc1 小时前
AI 编程工具 2026 实战横评:Cursor 3 vs Claude Code vs Copilot,开发者选型完全指南
人工智能·copilot
云器科技1 小时前
云器Lakehouse 2026年5月版本发布:拥抱 AI Agent,重塑数据智能开发新范式
人工智能
小鹰-上海鹰谷-电子实验记录本1 小时前
第六届党建引领科创生态座谈会 | 邓光辉博士出席分享AI赋能创新药科研新范式
人工智能·ai·电子实验记录本·药企合规
极客老王说Agent1 小时前
2026电信IDC机房巡检深度报告:人工巡检频次和深度够吗?实在Agent重塑智慧运维新范式
人工智能·ai·chatgpt
海兰1 小时前
【水浒传:第二篇】AI江湖 —项目详细设计指南(一)
jvm·人工智能·游戏