【第86期】分类指标与错误成本对照的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0308 分类评估指标 主人公:小蓝伞 前置:AI-0301 本期产出:分类评估表

小蓝伞面对一千个样本,其中只有十个正例。全部预测为负就有 99% 准确率,但没有找回任何正例。本期从明确的混淆矩阵计算四个指标,检查误报、漏报和零分母,让指标能够对应实际审核工作。 教学情境用来组织问题,下面的执行数据来自构造实验。

一、先给结论

先定义正类和计数单位,再报告混淆矩阵、正例支持数及阈值。准确率适合错误代价接近且比例合理的情况;不平衡任务需同时看精确率与召回率,并按成本或容量选择工作点。

二、问题范围与成功判据

本期技术范围是准确率、精确率、召回率、F1、混淆矩阵。读者应已能运行 Python 并理解训练与验证的区别。

项目 本期约定
输入 代码中给出的教学样本
输出 可逐项核对的中间量与预测或切分结果
成功判据 运行完成,正常与故障对照符合下文解释
不作承诺 真实业务最佳参数、独立测试成绩和生产性能

三、核心机制与容易混淆的概念

混淆矩阵的每个格子对应一类行动结果。真阳表示正例被找回,假阳表示负例被误报,假阴表示正例被漏掉,真阴表示负例被正确排除。scikit-learn 默认行是真实标签、列是预测标签,本期固定标签顺序为零、一,所以第一行是真负与假阳,第二行是假阴与真阳。

精确率的分母是全部预测正例,它回答交给审核的样本有多少是真的。召回率的分母是真实正例,它回答该找的样本找回多少。准确率把真阳与真阴合计,容易被大量真阴主导。F1 是精确率和召回率的调和平均,对两者较小的一项更敏感,但不包含真阴。

没有预测正例时精确率分母为零。设置 zero_division=0 可以固定报表输出,但这个零是约定,不是观测到的审核成功率。支持数与告警必须保留,否则下游无法区分模型全部拒绝和模型正常运行但没有命中。

四、方案选择与反例

漏报代价高时,可在容量允许的条件下降低阈值观察召回;误报昂贵时可检查固定召回下的精确率。人审每天最多处理固定数量时,应报告前 K 条命中与召回,并声明 K 是按日还是按批。

多分类要注明平均方式。macro 对类别等权,能够暴露少数类差;weighted 按支持数加权,会受大类主导;micro 先合并计数,在普通单标签全类别分类中与准确率存在特定等价关系,不能据此推广到多标签任务。

五、完整实践与运行步骤

本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。

新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。

复制代码
python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py

macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。

复制代码
import numpy as np
from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score, accuracy_score
y = np.array([1]*10+[0]*990)
pred = np.zeros(1000,dtype=int)
pred[:8]=1
pred[10:30]=1
print('matrix', confusion_matrix(y,pred,labels=[0,1]).tolist())
for name, f in [('accuracy',accuracy_score),('precision',precision_score),('recall',recall_score),('f1',f1_score)]:
    print(name, round(f(y,pred),6))
print('all_negative_accuracy', accuracy_score(y,np.zeros_like(y)))
print('zero_division', precision_score(y,np.zeros_like(y),zero_division=0))

六、可复现失败案例与修复

演练先对全负预测计算准确率,看起来分数更高。小蓝伞最初准备替换模型,检查真实正例十个与召回零后,才发现这会放弃所有目标样本。修复是同时输出矩阵和关键类指标,再与业务允许的漏报和误报相比较。复验不能只换成 F1 一个数字,仍应看计数是否匹配成本。

七、实验设计、实际输出与判读

复制代码
matrix [[970, 20], [2, 8]]
accuracy 0.978
precision 0.285714
recall 0.8
f1 0.421053
all_negative_accuracy 0.99
zero_division 0.0

正常预测找回八个正例,误报二十个,漏报两个,正确排除九百七十个负例。矩阵总和应为一千,召回应为八除以十。输出可逐项手算核对,精确率较低意味着大部分被标记样本需要无效审核。全部负例的准确率更高,只说明它利用了类别比例。

本实验是确定性计数,没有抽样置信区间。真实评估仅十个正例时,一个正例就改变十个百分点召回,模型优劣需要更多正例或符合实体结构的重复验证。

八、迁移到工程时需要补什么

标签窗口和审核单位也会改变计数。按交易统计与按用户统计不相同;一个用户连续误报多笔交易会占用更多容量。上线监控应同时看预测正例率、真实回流延迟与关键人群误差,标签未齐全时不要把暂时无标签当作真阴。

九、推导、决策与扩展验证

把四个数放回审核现场

本期预测正例有二十八个,其中八个确为正例,因此每处理二十八条告警只命中八条。漏报的两条不会进入这份队列,仅看告警列表无法知道它们存在,召回需要真实标签覆盖全部目标样本。九百七十个真阴提升准确率,却不会减少这二十次无效审核。

全负基线的准确率零点九九高于当前模型零点九七八,是因为牺牲了所有十个正例。若正例漏报代价明显高于误报,业务未必愿意接受它。反过来,把全部样本判正能拿到召回一,却要求审核一千条。两个极端基线能把指标的盲点直接显露出来,比只报一个"综合分"更容易讨论容量。

成本表与阈值表怎样衔接

设一次误报需要人工复核,一次漏报导致更严重后果,可在验证数据上列出不同阈值的 FP、FN、总成本和队列长度。成本可以先用区间而非精确单价,观察阈值选择是否对代价假设非常敏感。如果代价稍变最优点就大幅跳动,部署前应承认决策不稳定。

不是所有成本都能按样本简单相加。重复告警可以合并,同一个人一天内多次误报可能只有一次审核成本;另一方面,队列超容量可能导致额外延迟与积压。此时指标单位应改成案件、用户或业务窗口,而不是沿用逐行分类计数。

多分类平均的具体差别

若一类有九百个样本,另一类只有十个,按支持数加权的分数主要由大类决定。macro 让两个类别等权,更容易暴露少数类问题,但十个样本的估计波动也更大。两者没有普遍优胜关系,应结合目标和每类样本数解释。

多标签一条记录可能有多个真实类别,micro 计数聚合与单标签准确率的关系不再直接成立。样本平均、标签平均和精确匹配准确率回答不同问题,不能只写"F1"就假定读者知道口径。固定类集合也重要,某次切片没有出现的类如何参与平均,需要明确。

标签回流与不完整真值

真实业务里,只有被审核的样本容易得到标签,未被审核的不代表负例。如果直接把未审核全当真阴,准确率与召回都会被错误计算。可以建立随机抽查或延迟回流机制,在允许和授权范围内补足观察,报表标注标签完整的时间窗口。

样本权重也会改变计数意义。按交易金额加权的召回衡量覆盖金额,不等同于覆盖事件数量。报告加权指标时同时保留原始行数与正例数,避免一个大额样本掩盖多个小额漏报。权重来源需可追溯,不能为了提高分数事后修改。

置信与分组诊断

本期只有十个真实正例,召回每变一个样本就跳十个百分点,精确率也会因少数告警改变而波动。较小的分数差异不应立刻解读为算法提升。实际可在符合实体依赖的抽样方式下估计区间,或用更多独立时间窗口观察稳定性,不能把同一用户多行视作大量独立证据。

按地区、时间、设备或新老用户拆开看时,应同时报告支持数。某组只有一个正例时,召回零或一都缺少稳定性。小组可能重要,但正确做法是补充证据或设定保护性约束,不是隐去不方便解释的结果。

指标代码的最低验收

手工给出四格计数,核对矩阵行列与 labels 参数;使用全负、全正、全部正确和全部相反四种输入检查极端情况。确认零分母策略与日志一致,再把指标用于阈值搜索。类别映射变化也应有检查,若接口把"拒绝"映成一而报表仍把一当"通过",公式计算完全正确也会给出相反的业务含义。

十、实现复核与判断边界

工程报表先固定 labels 顺序,写清矩阵行是真实类别、列是预测类别,核对四格总和与样本总数。数据接口把正类从一改成零时,报表配置也要同步,否则代码不报错却会交换漏报与误报的业务含义。

在基线里保留全负与全正两种策略,分别暴露准确率与召回的盲点。每个阈值一起输出队列数量、真实支持数和成本,不让单个综合分掩盖容量。未完成标签回流的样本单独标记,不强行归为负例。

如果模型给人审使用,按实际审核单位聚合。相同用户的十条告警可能只对应一次操作,也可能代表十笔独立交易,必须由业务确认。监控正例预测率、关键类召回与标签完整率,零分母输出按约定处理并单独告警,不能只有一个显示正常的零。

百分之九十九准确率为什么可能没有价值,关键在剩下百分之一是谁。如果它们恰好都是必须识别的正例,模型虽然对大多数行正确,却没有完成任务。准确率没有说谎,它只是在计算所有行等权的正确比例,误导来自把它当成全部目标。

精确率与召回从不同集合出发。前者站在已触发行动的队列看真假,后者站在真实目标群体看覆盖。减少告警能提高队列纯度,却可能漏掉更多目标;扩大队列能提高覆盖,却可能耗尽审核能力。选择必须带上成本与容量。

F1 把两者合起来,但没包含真阴,也没有自动编码现实错误代价。一个指标名称无法替业务做所有决定。将混淆矩阵、支持数和阈值并排保留,读者才能重新按自己的约束判断,而不必相信一枚抽象的高分。

十一、系统与库版本差异

本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。

Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。

十二、验证清单

  • 明确正类、标签顺序和计数单位。
  • 核对矩阵总和与支持数。
  • 记录零分母约定。
  • 阈值只用验证数据选择并检查人审容量。

十三、五道面试题与追问

  1. 为何准确率会误导?大量真阴可以遮住正例全部漏报。 进一步追问,全正策略又隐藏什么?召回虽高,却可能超过审核容量。

  2. 精确率与召回分母为何不同?分别回答已报样本质量与目标覆盖程度。 进一步追问,未审核样本能当负例吗?不能,标签回流机制需要单独设计。

  3. F1 会考虑真阴吗?不会,因此不适合所有错误成本结构。 进一步追问,调和平均是否等于真实成本?不等于,需明确代价和约束。

  4. 如何处理没有预测正类?明确零分母约定并单独告警。 进一步追问,零分母填零后是否可忽略?不应,需保留无预测正类的状态。

  5. macro 与 weighted 如何选?取决于是否让每个类别等权,还要报告逐类支持数。 进一步追问,某类支持数极少怎么办?披露不确定性并补证据,不隐藏小组结果。

小蓝伞的工程金句

指标的分母决定它在回答谁的问题,先数清错误再比较分数。

官方资料与用途

查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。

适用边界

本期固定二分类标签与同等样本权重,未测成本学习、概率校准或动态业务容量。示例成本不代表金融、医疗等领域的真实代价,需由业务定义。

本期技术清单与下一期

本期覆盖准确率、精确率、召回率、F1、混淆矩阵。下一期【第87期】AI-0309「回归评估指标」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。

相关推荐
深兰科技19 分钟前
走出进博展馆寻AI方案,巴西政商联合体参访深兰科技洽商中巴产业数字化合作
人工智能·typescript·深兰科技·中巴产业数字化·巴西政商联合体·ai方案·进博会
美团技术团队20 分钟前
EMNLP 2026 | 美团技术团队学术论文精选
人工智能
Summer-Bright27 分钟前
企业落地智能体,供应链签名还是空白:1862 个 MCP 服务器无认证裸奔
服务器·人工智能·github·mcp
ZhengEnCi1 小时前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
xsd202411181 小时前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码1 小时前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子1 小时前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩2 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi2 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理