简简单单 Online zuozuo ：本心、输入输出、结果
文章目录
视觉模型的偏见和捷径测试：来自真实世界实验的实用测试套件
编辑 | 简简单单 Online zuozuo
地址 | https://blog.csdn.net/qq_15071263
如果觉得本文对你有帮助，欢迎点赞、收藏、评论，谢谢
前言
当我刚开始使用深度学习图像模型时，我做了大多数人都会做的事情：训练模型、检查top-1/top-5准确率、查看一些混淆矩阵。从表面上看，一切都很完美。但当我开始以稍微奇怪的方式测试模型时，我学到了一个非常令人不安的真相：模型并没有真正"理解"对象，而是在记忆数据集中的背景模式、纹理和隐藏特征。
在这篇文章中，我将详细介绍我现在对任何严肃的图像模型默认运行的偏见和捷径测试。这些测试基于我在自己的实验中反复看到的模式。我们将涵盖：偏见和捷径学习在图像模型中的含义、如何构建群体公平性测试（每个子群体的性能、交叉分析）、一套故意攻击背景依赖和隐藏噪声的数据集和捷径测试（包括基于变换的测试、仅背景裁剪测试、网格/像素打乱测试），以及如何将这些测试打包成可重复的测试套件并集成到正常的模型工作流程中。
这不是一个理论上的公平性调查。这是一套你可以本周就在你的模型和数据集上运行的东西。
#视觉模型 #机器学习 #深度学习 #模型测试 #偏见检测 #公平性 #计算机视觉 #AI测试
1、准确性不够（我在实践中看到的）
我第一次意识到有些不对劲，是在对一个在标准测试集上表现极好的模型进行"压力测试"时。我做了以下事情：
- 裁剪掉大部分对象
- 严重模糊图像
- 打乱图像的部分内容
令人惊讶的是，模型仍然比我预期的更频繁地预测出正确的类别，即使对象几乎不可见或图像对我来说在视觉上毫无意义。
在这一点上，我知道：
- 模型并没有真正"理解"对象
- 它在记忆数据集中的背景模式、纹理和隐藏特征
从那时起，我将评估分为两个主要领域：
- 群体偏见：性能在不同人类子群体之间如何变化？
- 捷径偏见：模型在多大程度上依赖无关的上下文或噪声？
我们需要测试两者。
2、群体偏见（子群体公平性）
这是公平性的经典概念：模型对不同子群体或情况的行为不同。
例如：
- 在特定肤色上表现更好的人脸检测器
- 更频繁地错误标记特定人口群体的分类器
- 在来自特定人群或设备类型的扫描上表现不佳的医学成像模型
如何测试
你需要一个评估数据集，其中每个示例都包含任务标签（类别、边界框）和一个或多个你关心的属性（肤色、性别、设备类型等）。假设你的数据加载器返回：
batch["image"]-- 图像张量batch["label"]-- 真实标签类别batch["group"]-- 类似 male_light、scanner_A 等的内容
然后你可以：
- 打印每个群体的准确率
- 计算最佳和最差群体之间的差距（例如，max(acc) − min(acc)）
- 决定阈值：例如，"没有子群体应该比表现最好的子群体低>X%。"
这给你一个公平性报告，而不是单一的全局准确率。
群体公平性告诉你模型可能在哪些方面失败。捷径测试告诉你它可能因为错误的原因而表现良好。这些测试是我的最爱，随着时间的推移，我已经确定了三种主要类型：基于变换的测试（模糊、频率等）、仅背景裁剪测试（只输入一小块背景）、网格/像素打乱测试（将图像打乱成视觉上的无意义内容）。
3、捷径偏见测试：基于变换的测试
最容易尝试的是严重模糊。如果你模糊掉所有对象边缘和精细细节，人类应该会感到困难。如果你的模型仍然表现非常好，它可能过度依赖粗糙的背景纹理或低频率内容。
你还可以将其他变换插入到这个模式中：
- 只保留低频傅里叶分量
- 应用激进的中值滤波器
- 将高频分量置零，等等
想法是系统地移除语义内容，看看你的模型如何反应。
4、捷径偏见测试：仅背景裁剪测试
仅背景裁剪测试是检查对象是否真的需要的一种方法。我做过的最具启发性的实验之一是我称之为背景补丁测试：
- 取一张你知道感兴趣对象（例如，狗、肿瘤）的图像
- 从背景中裁剪一小块，理想情况下在对象区域之外
- 将该补丁粘贴到其他方面为空的画布上
- 在这个仅补丁的图像上运行模型
如果模型仍然以令人惊讶的高速率预测正确的类别，那是一个巨大的危险信号。这意味着模型可以仅从背景线索识别类别，甚至不需要看对象。
5、捷径偏见测试：网格/像素打乱测试
网格/像素打乱测试可以揭示模型记忆的噪声。另一个不止一次让我惊讶的实验是将图像打乱成无意义的内容。图像对人类来说变得不可读，但模型有时保留的准确率比你预期的要高。这表明模型已经记忆了数据集特定的模式（全局纹理、颜色分布、噪声），这些模式在打乱后仍然存在。
6、如何解释这些数字
我学到的一些经验法则：
- 仅背景补丁准确率出奇地高。模型显然将背景/上下文作为主要信号使用。你的训练集可能有很强的类别-背景相关性。
- 网格打乱准确率远高于随机机会。模型正在利用全局统计或记忆的噪声模式，这些模式在打乱后仍然存在。它正在学习"风格"而不是"内容"。
- 严重模糊准确率几乎没有下降。边缘和对象细节对你的模型来说不是很重要；背景和低频内容正在做大量工作。
这些测试不会给你一个神奇的公平性数字，但它们暴露了模型在哪里"作弊"。
7、我如何处理捷径偏见
当我看到这些问题时，我将它们视为系统中的任何其他错误，需要在数据和训练层面进行修复。
- 我尝试重新平衡和丰富代表性不足群体的数据集，随机化或多样化背景，这样捷径就停止工作了。
- 在某些情况下，我使用故意破坏虚假线索的增强（例如，背景交换、cutout、风格/纹理抖动）。
8、结束思考
深度图像模型非常擅长寻找捷径：背景、纹理、噪声模式，任何在训练期间给它们带来轻松胜利的东西。
如果你不测试它，你可能会发布这样的模型：
- 在整体测试指标上看起来很棒
- 但在子群体之间表现非常不同
- 并且严重依赖虚假的背景线索或记忆的噪声
通过结合：
- 每个子群体的公平性指标，以及
- 像严重模糊、仅背景裁剪和网格/像素打乱这样的捷径测试，
你可以将"偏见和公平性"变成看起来更像传统工程的东西。
这是我的经验：一旦我开始运行这些类型的测试，我无法不看到有多少模型是"因为错误的原因而正确"，我停止仅信任准确率。
生如逆旅，一苇以航
我们应该静下心来，放下浮躁，不必有太着急的心态，把一件事情做好
感谢亲的点赞、收藏、评论，一键三连支持，谢谢
