在有真实标签 (Ground Truth) 的情况下,常用的指标有哪些?聚类指标有哪些?

一、有监督情况下,常用的指标有哪些?

在有真实标签 (Ground Truth) 的情况下,常用的指标如下

以下是你可以计算的指标,按从基础到进阶的顺序排列:

1. 基础分类指标 (Basic Classification Metrics)

这是最常用的一组指标,用于衡量分选结果的"准"与"全"。

  • 准确率 (Accuracy)

    • 定义:分选正确的脉冲数占总脉冲数的比例。

    • 公式 \\frac{TP + TN}{Total}

    • 意义:全局指标,但在样本不均衡(比如某个雷达发了1万个脉冲,另一个只发了100个)时会失真。

  • 精确率 (Precision / 查准率)

    • 定义:预测为雷达A的脉冲中,真正属于雷达A的比例。

    • 公式 P = \\frac{TP}{TP + FP}

    • 雷达含义"虚警率"的反面。精确率低意味着把很多别的信号(噪声或其他雷达)错分给了这个雷达。

  • 召回率 (Recall / 查全率 / PD)

    • 定义 :本来属于雷达A的脉冲中,被成功找出来的比例。在雷达领域常称为 发现概率 (Probability of Detection, PD)

    • 公式 R = \\frac{TP}{TP + FN}

    • 雷达含义"漏警率"的反面。召回率低意味着丢了很多该雷达的脉冲。

  • F1-Score

    • 定义:精确率和召回率的调和平均数。

    • 公式 2 \\times \\frac{P \\times R}{P + R}

    • 意义:综合考量虚警和漏警,是一个比较公正的单值指标。

2. 雷达专用指标 (Radar Specific Metrics)

针对信号分选任务特有的业务指标。

  • 漏警率 (Miss Rate)

    • 公式 1 - Recall

    • 意义:有多少个脉冲没被分选出来(或者被丢弃到"未知/噪声"类里了)。

  • 错分率 (Error Sorting Rate)

    • 定义:本来是雷达A的脉冲,被错误地分给了雷达B的比例。

    • 意义:衡量算法处理"参数重叠"或"多义性"的能力。

  • 虚假辐射源产生率 (Ghost Emitter Rate)

    • 定义:算法报告发现了"雷达X",但实际上环境中根本没有雷达X。

    • 场景:常见于聚类算法(如SDIF, CDIF)将多部雷达的谐波或交错脉冲误判为一部新雷达。

4. 混淆矩阵 (Confusion Matrix)

这不是一个单一的数字,而是一个表格,是分析错误的神器

  • :真实标签 (Radar 1, Radar 2, ...)

  • :预测结果 (Radar 1, Radar 2, ..., Unknown)

  • 用途 :一眼看出 Radar 1 经常被错分成 Radar 5(说明这两部雷达参数太像了,或者算法在那个参数区间有缺陷)。

二、聚类指标有哪些?

在聚类任务中,常见的评价指标有:纯度(Purity)、兰德系数(Rand Index, RI)、F值(F-score)和调整兰德系数(Adjusted Rand Index,ARI)。同时,这四种评价指标也是聚类相关论文中出现得最多的评价方法。

如果你使用的是无监督学习(如K-Means, DBSCAN)进行分选,然后用标签来验证,这些指标很有用:

  • 调整兰德指数 (Adjusted Rand Index, ARI)

    • 范围:[-1, 1],越接近1越好。

    • 意义:衡量你的分选结果(聚类簇)和真实标签的吻合程度,且消除了随机运气的影响。

  • 互信息 (Mutual Information, MI / NMI)

    • 意义:衡量预测结果包含了多少关于真实标签的信息量。

其他的无监督指标详情参考链接:https://zhuanlan.zhihu.com/p/343667804

相关推荐
yaoxin5211236 小时前
406. Java 文件操作基础 - 字符与二进制流
java·开发语言·python
一勺菠萝丶6 小时前
macOS 安装 Python 包报错:`externally-managed-environment` 怎么解决?
python
醒李7 小时前
盲人出行辅助系统原型
人工智能·python·目标检测
PILIPALAPENG7 小时前
第4周 Day 3:多 Agent 协作——让 Agent 们"组队干活"
前端·人工智能·python
Omics Pro7 小时前
填补蛋白质组深度学习预处理教学空白
人工智能·python·深度学习·plotly·numpy·pandas·scikit-learn
万邦科技Lafite8 小时前
实战演练:利用京东API一键抓取商品详情
数据库·redis·python·缓存·开放api·淘宝开放平台
TheRouter8 小时前
OpenClaw 上下文瘦身:3 个实验
开发语言·python·ai
日光明媚9 小时前
TensorRT-LLM 中对 wan 加速流程与方法
人工智能·python·计算机视觉·stable diffusion·aigc
Promising_GEO9 小时前
全球综合评估模型-GCAM模型的安装与参数解读
开发语言·python·遥感·空间分析
TechWayfarer10 小时前
IP归属地API实战指南:用IP数据云解析日志挖掘用户地域分布
大数据·开发语言·网络·python·tcp/ip