在有真实标签 (Ground Truth) 的情况下,常用的指标有哪些?聚类指标有哪些?

一、有监督情况下,常用的指标有哪些?

在有真实标签 (Ground Truth) 的情况下,常用的指标如下

以下是你可以计算的指标,按从基础到进阶的顺序排列:

1. 基础分类指标 (Basic Classification Metrics)

这是最常用的一组指标,用于衡量分选结果的"准"与"全"。

  • 准确率 (Accuracy)

    • 定义:分选正确的脉冲数占总脉冲数的比例。

    • 公式 \\frac{TP + TN}{Total}

    • 意义:全局指标,但在样本不均衡(比如某个雷达发了1万个脉冲,另一个只发了100个)时会失真。

  • 精确率 (Precision / 查准率)

    • 定义:预测为雷达A的脉冲中,真正属于雷达A的比例。

    • 公式 P = \\frac{TP}{TP + FP}

    • 雷达含义"虚警率"的反面。精确率低意味着把很多别的信号(噪声或其他雷达)错分给了这个雷达。

  • 召回率 (Recall / 查全率 / PD)

    • 定义 :本来属于雷达A的脉冲中,被成功找出来的比例。在雷达领域常称为 发现概率 (Probability of Detection, PD)

    • 公式 R = \\frac{TP}{TP + FN}

    • 雷达含义"漏警率"的反面。召回率低意味着丢了很多该雷达的脉冲。

  • F1-Score

    • 定义:精确率和召回率的调和平均数。

    • 公式 2 \\times \\frac{P \\times R}{P + R}

    • 意义:综合考量虚警和漏警,是一个比较公正的单值指标。

2. 雷达专用指标 (Radar Specific Metrics)

针对信号分选任务特有的业务指标。

  • 漏警率 (Miss Rate)

    • 公式 1 - Recall

    • 意义:有多少个脉冲没被分选出来(或者被丢弃到"未知/噪声"类里了)。

  • 错分率 (Error Sorting Rate)

    • 定义:本来是雷达A的脉冲,被错误地分给了雷达B的比例。

    • 意义:衡量算法处理"参数重叠"或"多义性"的能力。

  • 虚假辐射源产生率 (Ghost Emitter Rate)

    • 定义:算法报告发现了"雷达X",但实际上环境中根本没有雷达X。

    • 场景:常见于聚类算法(如SDIF, CDIF)将多部雷达的谐波或交错脉冲误判为一部新雷达。

4. 混淆矩阵 (Confusion Matrix)

这不是一个单一的数字,而是一个表格,是分析错误的神器

  • :真实标签 (Radar 1, Radar 2, ...)

  • :预测结果 (Radar 1, Radar 2, ..., Unknown)

  • 用途 :一眼看出 Radar 1 经常被错分成 Radar 5(说明这两部雷达参数太像了,或者算法在那个参数区间有缺陷)。

二、聚类指标有哪些?

在聚类任务中,常见的评价指标有:纯度(Purity)、兰德系数(Rand Index, RI)、F值(F-score)和调整兰德系数(Adjusted Rand Index,ARI)。同时,这四种评价指标也是聚类相关论文中出现得最多的评价方法。

如果你使用的是无监督学习(如K-Means, DBSCAN)进行分选,然后用标签来验证,这些指标很有用:

  • 调整兰德指数 (Adjusted Rand Index, ARI)

    • 范围:[-1, 1],越接近1越好。

    • 意义:衡量你的分选结果(聚类簇)和真实标签的吻合程度,且消除了随机运气的影响。

  • 互信息 (Mutual Information, MI / NMI)

    • 意义:衡量预测结果包含了多少关于真实标签的信息量。

其他的无监督指标详情参考链接:https://zhuanlan.zhihu.com/p/343667804

相关推荐
用户83562907805118 小时前
无需 Office:Python 批量转换 PPT 为图片
后端·python
markfeng820 小时前
Python+Django+H5+MySQL项目搭建
python·django
GinoWi20 小时前
Chapter 2 - Python中的变量和简单的数据类型
python
JordanHaidee21 小时前
Python 中 `if x:` 到底在判断什么?
后端·python
ServBay21 小时前
10分钟彻底终结冗长代码,Python f-string 让你重获编程自由
后端·python
闲云一鹤21 小时前
Python 入门(二)- 使用 FastAPI 快速生成后端 API 接口
python·fastapi
Rockbean1 天前
用40行代码搭建自己的无服务器OCR
服务器·python·deepseek
曲幽1 天前
FastAPI + Ollama 实战:搭一个能查天气的AI助手
python·ai·lora·torch·fastapi·web·model·ollama·weatherapi
用户60648767188961 天前
国内开发者如何接入 Claude API?中转站方案实战指南(Python/Node.js 完整示例)
人工智能·python·api
只与明月听1 天前
RAG深入学习之Chunk
前端·人工智能·python