在有真实标签 (Ground Truth) 的情况下,常用的指标有哪些?聚类指标有哪些?

一、有监督情况下,常用的指标有哪些?

在有真实标签 (Ground Truth) 的情况下,常用的指标如下

以下是你可以计算的指标,按从基础到进阶的顺序排列:

1. 基础分类指标 (Basic Classification Metrics)

这是最常用的一组指标,用于衡量分选结果的"准"与"全"。

  • 准确率 (Accuracy)

    • 定义:分选正确的脉冲数占总脉冲数的比例。

    • 公式 \\frac{TP + TN}{Total}

    • 意义:全局指标,但在样本不均衡(比如某个雷达发了1万个脉冲,另一个只发了100个)时会失真。

  • 精确率 (Precision / 查准率)

    • 定义:预测为雷达A的脉冲中,真正属于雷达A的比例。

    • 公式 P = \\frac{TP}{TP + FP}

    • 雷达含义"虚警率"的反面。精确率低意味着把很多别的信号(噪声或其他雷达)错分给了这个雷达。

  • 召回率 (Recall / 查全率 / PD)

    • 定义 :本来属于雷达A的脉冲中,被成功找出来的比例。在雷达领域常称为 发现概率 (Probability of Detection, PD)

    • 公式 R = \\frac{TP}{TP + FN}

    • 雷达含义"漏警率"的反面。召回率低意味着丢了很多该雷达的脉冲。

  • F1-Score

    • 定义:精确率和召回率的调和平均数。

    • 公式 2 \\times \\frac{P \\times R}{P + R}

    • 意义:综合考量虚警和漏警,是一个比较公正的单值指标。

2. 雷达专用指标 (Radar Specific Metrics)

针对信号分选任务特有的业务指标。

  • 漏警率 (Miss Rate)

    • 公式 1 - Recall

    • 意义:有多少个脉冲没被分选出来(或者被丢弃到"未知/噪声"类里了)。

  • 错分率 (Error Sorting Rate)

    • 定义:本来是雷达A的脉冲,被错误地分给了雷达B的比例。

    • 意义:衡量算法处理"参数重叠"或"多义性"的能力。

  • 虚假辐射源产生率 (Ghost Emitter Rate)

    • 定义:算法报告发现了"雷达X",但实际上环境中根本没有雷达X。

    • 场景:常见于聚类算法(如SDIF, CDIF)将多部雷达的谐波或交错脉冲误判为一部新雷达。

4. 混淆矩阵 (Confusion Matrix)

这不是一个单一的数字,而是一个表格,是分析错误的神器

  • :真实标签 (Radar 1, Radar 2, ...)

  • :预测结果 (Radar 1, Radar 2, ..., Unknown)

  • 用途 :一眼看出 Radar 1 经常被错分成 Radar 5(说明这两部雷达参数太像了,或者算法在那个参数区间有缺陷)。

二、聚类指标有哪些?

在聚类任务中,常见的评价指标有:纯度(Purity)、兰德系数(Rand Index, RI)、F值(F-score)和调整兰德系数(Adjusted Rand Index,ARI)。同时,这四种评价指标也是聚类相关论文中出现得最多的评价方法。

如果你使用的是无监督学习(如K-Means, DBSCAN)进行分选,然后用标签来验证,这些指标很有用:

  • 调整兰德指数 (Adjusted Rand Index, ARI)

    • 范围:[-1, 1],越接近1越好。

    • 意义:衡量你的分选结果(聚类簇)和真实标签的吻合程度,且消除了随机运气的影响。

  • 互信息 (Mutual Information, MI / NMI)

    • 意义:衡量预测结果包含了多少关于真实标签的信息量。

其他的无监督指标详情参考链接:https://zhuanlan.zhihu.com/p/343667804

相关推荐
深蓝电商API33 分钟前
Scrapy爬虫限速与并发控制最佳实践
爬虫·python·scrapy
Derrick__134 分钟前
淘宝MD5爬虫
爬虫·python
薛定谔的猫198237 分钟前
llama-index Embedding 落地到 RAG 系统
开发语言·人工智能·python·llama-index
nimadan122 小时前
**手机小说扫榜工具2025推荐,精准追踪榜单动态与题材风向
python·智能手机
编程武士2 小时前
Python 各版本主要变化速览
开发语言·python
傻啦嘿哟3 小时前
Python中的@property:优雅控制类成员访问的魔法
前端·数据库·python
sky17203 小时前
VectorStoreRetriever 三种搜索类型
python·langchain
旦莫3 小时前
Python测试开发工具库:日志脱敏工具(敏感信息自动屏蔽)
python·测试开发·自动化·ai测试
唐叔在学习3 小时前
Python自动化指令进阶:UAC提权
后端·python
旺仔小拳头..3 小时前
Java ---变量、常量、类型转换、默认值、重载、标识符、输入输出、访问修饰符、泛型、迭代器
java·开发语言·python