在有真实标签 (Ground Truth) 的情况下,常用的指标有哪些?聚类指标有哪些?

一、有监督情况下,常用的指标有哪些?

在有真实标签 (Ground Truth) 的情况下,常用的指标如下

以下是你可以计算的指标,按从基础到进阶的顺序排列:

1. 基础分类指标 (Basic Classification Metrics)

这是最常用的一组指标,用于衡量分选结果的"准"与"全"。

  • 准确率 (Accuracy)

    • 定义:分选正确的脉冲数占总脉冲数的比例。

    • 公式 \\frac{TP + TN}{Total}

    • 意义:全局指标,但在样本不均衡(比如某个雷达发了1万个脉冲,另一个只发了100个)时会失真。

  • 精确率 (Precision / 查准率)

    • 定义:预测为雷达A的脉冲中,真正属于雷达A的比例。

    • 公式 P = \\frac{TP}{TP + FP}

    • 雷达含义"虚警率"的反面。精确率低意味着把很多别的信号(噪声或其他雷达)错分给了这个雷达。

  • 召回率 (Recall / 查全率 / PD)

    • 定义 :本来属于雷达A的脉冲中,被成功找出来的比例。在雷达领域常称为 发现概率 (Probability of Detection, PD)

    • 公式 R = \\frac{TP}{TP + FN}

    • 雷达含义"漏警率"的反面。召回率低意味着丢了很多该雷达的脉冲。

  • F1-Score

    • 定义:精确率和召回率的调和平均数。

    • 公式 2 \\times \\frac{P \\times R}{P + R}

    • 意义:综合考量虚警和漏警,是一个比较公正的单值指标。

2. 雷达专用指标 (Radar Specific Metrics)

针对信号分选任务特有的业务指标。

  • 漏警率 (Miss Rate)

    • 公式 1 - Recall

    • 意义:有多少个脉冲没被分选出来(或者被丢弃到"未知/噪声"类里了)。

  • 错分率 (Error Sorting Rate)

    • 定义:本来是雷达A的脉冲,被错误地分给了雷达B的比例。

    • 意义:衡量算法处理"参数重叠"或"多义性"的能力。

  • 虚假辐射源产生率 (Ghost Emitter Rate)

    • 定义:算法报告发现了"雷达X",但实际上环境中根本没有雷达X。

    • 场景:常见于聚类算法(如SDIF, CDIF)将多部雷达的谐波或交错脉冲误判为一部新雷达。

4. 混淆矩阵 (Confusion Matrix)

这不是一个单一的数字,而是一个表格,是分析错误的神器

  • :真实标签 (Radar 1, Radar 2, ...)

  • :预测结果 (Radar 1, Radar 2, ..., Unknown)

  • 用途 :一眼看出 Radar 1 经常被错分成 Radar 5(说明这两部雷达参数太像了,或者算法在那个参数区间有缺陷)。

二、聚类指标有哪些?

在聚类任务中,常见的评价指标有:纯度(Purity)、兰德系数(Rand Index, RI)、F值(F-score)和调整兰德系数(Adjusted Rand Index,ARI)。同时,这四种评价指标也是聚类相关论文中出现得最多的评价方法。

如果你使用的是无监督学习(如K-Means, DBSCAN)进行分选,然后用标签来验证,这些指标很有用:

  • 调整兰德指数 (Adjusted Rand Index, ARI)

    • 范围-1, 1,越接近1越好。

    • 意义:衡量你的分选结果(聚类簇)和真实标签的吻合程度,且消除了随机运气的影响。

  • 互信息 (Mutual Information, MI / NMI)

    • 意义:衡量预测结果包含了多少关于真实标签的信息量。

其他的无监督指标详情参考链接:https://zhuanlan.zhihu.com/p/343667804

相关推荐
程序员阿黄7 分钟前
基于 Django 与 Vue 3 的智能实验室预约系统设计与实现
后端·python·mysql·django·vue·毕设
程序猿在线码字22 分钟前
深度学习(一)
python·深度学习·神经网络·机器学习
打工仔折腾 AI23 分钟前
用 Shell 脚本自动部署 mysqld_exporter 并接入 Prometheus 远程抓取
人工智能·后端·python·性能优化·ai agent 实战
梦想不只是梦与想31 分钟前
环境管理:Conda 与 venv
python·conda·uv
Yolanda_202231 分钟前
6.pytorch加载数据初认识
python
更深兼春远33 分钟前
Python到底怎么用于测试?
自动化测试·软件测试·python·接口测试
我不会起名字32240 分钟前
一天一道力扣Hot100(36):深度优先算法---组合总和
数据结构·c++·后端·python·算法·go
东莞市云毅网络有限公司1 小时前
PDF 表格抽取的三条技术路线对比:规则、库解析与版面识别
python·sqlite·自动化运维·geo·数据监测
外收内放2 小时前
Python与AI应用(项目开发实战:AI智能伴侣第一版)
python·学习·ai编程
绘梨衣5472 小时前
慢SQL排查手册
python·sql