系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0308 分类评估指标 主人公:小蓝伞 前置:AI-0301 本期产出:分类评估表
小蓝伞面对一千个样本,其中只有十个正例。全部预测为负就有 99% 准确率,但没有找回任何正例。本期从明确的混淆矩阵计算四个指标,检查误报、漏报和零分母,让指标能够对应实际审核工作。 教学情境用来组织问题,下面的执行数据来自构造实验。
一、先给结论
先定义正类和计数单位,再报告混淆矩阵、正例支持数及阈值。准确率适合错误代价接近且比例合理的情况;不平衡任务需同时看精确率与召回率,并按成本或容量选择工作点。
二、问题范围与成功判据
本期技术范围是准确率、精确率、召回率、F1、混淆矩阵。读者应已能运行 Python 并理解训练与验证的区别。
| 项目 | 本期约定 |
|---|---|
| 输入 | 代码中给出的教学样本 |
| 输出 | 可逐项核对的中间量与预测或切分结果 |
| 成功判据 | 运行完成,正常与故障对照符合下文解释 |
| 不作承诺 | 真实业务最佳参数、独立测试成绩和生产性能 |
三、核心机制与容易混淆的概念
混淆矩阵的每个格子对应一类行动结果。真阳表示正例被找回,假阳表示负例被误报,假阴表示正例被漏掉,真阴表示负例被正确排除。scikit-learn 默认行是真实标签、列是预测标签,本期固定标签顺序为零、一,所以第一行是真负与假阳,第二行是假阴与真阳。
精确率的分母是全部预测正例,它回答交给审核的样本有多少是真的。召回率的分母是真实正例,它回答该找的样本找回多少。准确率把真阳与真阴合计,容易被大量真阴主导。F1 是精确率和召回率的调和平均,对两者较小的一项更敏感,但不包含真阴。
没有预测正例时精确率分母为零。设置 zero_division=0 可以固定报表输出,但这个零是约定,不是观测到的审核成功率。支持数与告警必须保留,否则下游无法区分模型全部拒绝和模型正常运行但没有命中。
四、方案选择与反例
漏报代价高时,可在容量允许的条件下降低阈值观察召回;误报昂贵时可检查固定召回下的精确率。人审每天最多处理固定数量时,应报告前 K 条命中与召回,并声明 K 是按日还是按批。
多分类要注明平均方式。macro 对类别等权,能够暴露少数类差;weighted 按支持数加权,会受大类主导;micro 先合并计数,在普通单标签全类别分类中与准确率存在特定等价关系,不能据此推广到多标签任务。
五、完整实践与运行步骤
本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。
新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。
python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py
macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。
import numpy as np
from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score, accuracy_score
y = np.array([1]*10+[0]*990)
pred = np.zeros(1000,dtype=int)
pred[:8]=1
pred[10:30]=1
print('matrix', confusion_matrix(y,pred,labels=[0,1]).tolist())
for name, f in [('accuracy',accuracy_score),('precision',precision_score),('recall',recall_score),('f1',f1_score)]:
print(name, round(f(y,pred),6))
print('all_negative_accuracy', accuracy_score(y,np.zeros_like(y)))
print('zero_division', precision_score(y,np.zeros_like(y),zero_division=0))
六、可复现失败案例与修复
演练先对全负预测计算准确率,看起来分数更高。小蓝伞最初准备替换模型,检查真实正例十个与召回零后,才发现这会放弃所有目标样本。修复是同时输出矩阵和关键类指标,再与业务允许的漏报和误报相比较。复验不能只换成 F1 一个数字,仍应看计数是否匹配成本。
七、实验设计、实际输出与判读
matrix [[970, 20], [2, 8]]
accuracy 0.978
precision 0.285714
recall 0.8
f1 0.421053
all_negative_accuracy 0.99
zero_division 0.0
正常预测找回八个正例,误报二十个,漏报两个,正确排除九百七十个负例。矩阵总和应为一千,召回应为八除以十。输出可逐项手算核对,精确率较低意味着大部分被标记样本需要无效审核。全部负例的准确率更高,只说明它利用了类别比例。
本实验是确定性计数,没有抽样置信区间。真实评估仅十个正例时,一个正例就改变十个百分点召回,模型优劣需要更多正例或符合实体结构的重复验证。
八、迁移到工程时需要补什么
标签窗口和审核单位也会改变计数。按交易统计与按用户统计不相同;一个用户连续误报多笔交易会占用更多容量。上线监控应同时看预测正例率、真实回流延迟与关键人群误差,标签未齐全时不要把暂时无标签当作真阴。
九、推导、决策与扩展验证
把四个数放回审核现场
本期预测正例有二十八个,其中八个确为正例,因此每处理二十八条告警只命中八条。漏报的两条不会进入这份队列,仅看告警列表无法知道它们存在,召回需要真实标签覆盖全部目标样本。九百七十个真阴提升准确率,却不会减少这二十次无效审核。
全负基线的准确率零点九九高于当前模型零点九七八,是因为牺牲了所有十个正例。若正例漏报代价明显高于误报,业务未必愿意接受它。反过来,把全部样本判正能拿到召回一,却要求审核一千条。两个极端基线能把指标的盲点直接显露出来,比只报一个"综合分"更容易讨论容量。
成本表与阈值表怎样衔接
设一次误报需要人工复核,一次漏报导致更严重后果,可在验证数据上列出不同阈值的 FP、FN、总成本和队列长度。成本可以先用区间而非精确单价,观察阈值选择是否对代价假设非常敏感。如果代价稍变最优点就大幅跳动,部署前应承认决策不稳定。
不是所有成本都能按样本简单相加。重复告警可以合并,同一个人一天内多次误报可能只有一次审核成本;另一方面,队列超容量可能导致额外延迟与积压。此时指标单位应改成案件、用户或业务窗口,而不是沿用逐行分类计数。
多分类平均的具体差别
若一类有九百个样本,另一类只有十个,按支持数加权的分数主要由大类决定。macro 让两个类别等权,更容易暴露少数类问题,但十个样本的估计波动也更大。两者没有普遍优胜关系,应结合目标和每类样本数解释。
多标签一条记录可能有多个真实类别,micro 计数聚合与单标签准确率的关系不再直接成立。样本平均、标签平均和精确匹配准确率回答不同问题,不能只写"F1"就假定读者知道口径。固定类集合也重要,某次切片没有出现的类如何参与平均,需要明确。
标签回流与不完整真值
真实业务里,只有被审核的样本容易得到标签,未被审核的不代表负例。如果直接把未审核全当真阴,准确率与召回都会被错误计算。可以建立随机抽查或延迟回流机制,在允许和授权范围内补足观察,报表标注标签完整的时间窗口。
样本权重也会改变计数意义。按交易金额加权的召回衡量覆盖金额,不等同于覆盖事件数量。报告加权指标时同时保留原始行数与正例数,避免一个大额样本掩盖多个小额漏报。权重来源需可追溯,不能为了提高分数事后修改。
置信与分组诊断
本期只有十个真实正例,召回每变一个样本就跳十个百分点,精确率也会因少数告警改变而波动。较小的分数差异不应立刻解读为算法提升。实际可在符合实体依赖的抽样方式下估计区间,或用更多独立时间窗口观察稳定性,不能把同一用户多行视作大量独立证据。
按地区、时间、设备或新老用户拆开看时,应同时报告支持数。某组只有一个正例时,召回零或一都缺少稳定性。小组可能重要,但正确做法是补充证据或设定保护性约束,不是隐去不方便解释的结果。
指标代码的最低验收
手工给出四格计数,核对矩阵行列与 labels 参数;使用全负、全正、全部正确和全部相反四种输入检查极端情况。确认零分母策略与日志一致,再把指标用于阈值搜索。类别映射变化也应有检查,若接口把"拒绝"映成一而报表仍把一当"通过",公式计算完全正确也会给出相反的业务含义。
十、实现复核与判断边界
工程报表先固定 labels 顺序,写清矩阵行是真实类别、列是预测类别,核对四格总和与样本总数。数据接口把正类从一改成零时,报表配置也要同步,否则代码不报错却会交换漏报与误报的业务含义。
在基线里保留全负与全正两种策略,分别暴露准确率与召回的盲点。每个阈值一起输出队列数量、真实支持数和成本,不让单个综合分掩盖容量。未完成标签回流的样本单独标记,不强行归为负例。
如果模型给人审使用,按实际审核单位聚合。相同用户的十条告警可能只对应一次操作,也可能代表十笔独立交易,必须由业务确认。监控正例预测率、关键类召回与标签完整率,零分母输出按约定处理并单独告警,不能只有一个显示正常的零。
百分之九十九准确率为什么可能没有价值,关键在剩下百分之一是谁。如果它们恰好都是必须识别的正例,模型虽然对大多数行正确,却没有完成任务。准确率没有说谎,它只是在计算所有行等权的正确比例,误导来自把它当成全部目标。
精确率与召回从不同集合出发。前者站在已触发行动的队列看真假,后者站在真实目标群体看覆盖。减少告警能提高队列纯度,却可能漏掉更多目标;扩大队列能提高覆盖,却可能耗尽审核能力。选择必须带上成本与容量。
F1 把两者合起来,但没包含真阴,也没有自动编码现实错误代价。一个指标名称无法替业务做所有决定。将混淆矩阵、支持数和阈值并排保留,读者才能重新按自己的约束判断,而不必相信一枚抽象的高分。
十一、系统与库版本差异
本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。
Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。
十二、验证清单
- 明确正类、标签顺序和计数单位。
- 核对矩阵总和与支持数。
- 记录零分母约定。
- 阈值只用验证数据选择并检查人审容量。
十三、五道面试题与追问
-
为何准确率会误导?大量真阴可以遮住正例全部漏报。 进一步追问,全正策略又隐藏什么?召回虽高,却可能超过审核容量。
-
精确率与召回分母为何不同?分别回答已报样本质量与目标覆盖程度。 进一步追问,未审核样本能当负例吗?不能,标签回流机制需要单独设计。
-
F1 会考虑真阴吗?不会,因此不适合所有错误成本结构。 进一步追问,调和平均是否等于真实成本?不等于,需明确代价和约束。
-
如何处理没有预测正类?明确零分母约定并单独告警。 进一步追问,零分母填零后是否可忽略?不应,需保留无预测正类的状态。
-
macro 与 weighted 如何选?取决于是否让每个类别等权,还要报告逐类支持数。 进一步追问,某类支持数极少怎么办?披露不确定性并补证据,不隐藏小组结果。
小蓝伞的工程金句
指标的分母决定它在回答谁的问题,先数清错误再比较分数。
官方资料与用途
-
scikit-learn 官方主题文档,用于核对本期概念、接口与算法边界。
-
常见错误与数据泄漏,用于核对拟合范围和验证流程。
查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。
适用边界
本期固定二分类标签与同等样本权重,未测成本学习、概率校准或动态业务容量。示例成本不代表金融、医疗等领域的真实代价,需由业务定义。
本期技术清单与下一期
本期覆盖准确率、精确率、召回率、F1、混淆矩阵。下一期【第87期】AI-0309「回归评估指标」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。