【深度学习: Encord Active平台】Encord 中的数据、标签和模型质量指标

【深度学习: Encord Active平台】Encord 中的数据、标签和模型质量指标

在使用数据集或开发机器学习模型时,经常会发现自己在查找或假设具有某些属性的数据子集、标签或模型预测。

质量指标是查找此类数据和检验假设的基础。

什么是质量指标?

核心概念是使用质量指标以结构化方式对相关主题进行索引、切片和分析,以便在不断启动主动学习周期时执行明智的行动。

具体示例:您假设对象"红色"会影响对象检测模型的 mAP 分数。为了测试这个假设,您定义一个质量指标来捕获数据集中每个对象的红色度。根据质量指标,您可以对数据进行切片,以比较红色和非红色对象上的模型性能。

定义质量指标

考虑计算机视觉质量指标的最佳方法是:

为数据集中的各个数据点、标签或模型预测分配值的任何函数。

根据设计,质量度量是一类非常抽象的函数,因为随附的方法对于质量度量所表达的特定属性是不可知的。无论具体的质量指标如何,您都可以:

  • 根据指标对数据进行排序
  • 对数据进行切片以检查特定子集
  • 找出异常值
  • 将训练数据与生产数据进行比较以检测数据漂移
  • 根据指标评估模型性能
  • 定义模型测试用例
  • 以及更多

专业提示:尝试阅读本文的其余部分,并考虑根据质量指标对数据、标签和模型预测进行"索引"。下面提到的指标只是质量指标可以捕获的冰山一角。每个项目都有自己的具体指标需要考虑和考虑。

数据质量指标

数据质量指标是那些仅需要有关数据本身的信息的指标。在计算机视觉领域中,这意味着没有任何标签的原始图像或视频帧。这个质量指标子集通常在机器学习项目开始时经常使用,其中标签很少甚至可能不存在。

以下是数据质量指标的一些示例,从简单到复杂:

图像亮度作为 Encord 上 MS COCO 验证数据集的数据质量指标。

图像奇异性作为 Encord 上 MS COCO 验证数据集的数据质量指标。

标签质量指标

标签质量指标适用于标签。一些指标使用图像内容,而另一些指标仅适用于标签信息。标签质量指标有多种用途,但一些更常见的用途是显示标签错误、模型故障模式和评估注释器性能。

以下是标签质量指标的一些具体示例,从简单到复杂:

Encord 上的 MS COCO 验证数据集上的对象计数作为标签质量指标。

注释重复作为 Encord 上 MS COCO 验证数据集的标签质量指标。

模型质量指标

模型质量指标还考虑模型预测。这些指标最明显的用例是获取函数,回答"接下来我应该标记什么?"的问题。有许多智能方法可以利用模型预测来回答这个问题。以下是一些最常见的列表:

使用模型置信度作为 Encord 上 MS COCO 验证数据集的模型质量指标。它显示置信度在 50% 到 80% 之间的预测。

使用多边形形状相似度作为 Encord 上 MS COCO 验证数据集的模型质量指标。它根据 Hu 矩,根据对象与前一帧中的实例的相似程度对对象进行排名。物体的形状变化越多,其得分就越低。

💡 提示:要利用 Encord Active 的采集功能,请查看此处。

自定义质量指标

我们现在已经回顾了 Encord Active 中已有的一些常见质量指标示例。

然而,每个机器学习项目都是不同的,而且很可能,您只是知道要计算什么来呈现您想要评估或分析的数据。

使用 Encord Active,您只需定义每个数据点的计算。该工具将处理从执行计算到根据新指标可视化数据的所有事务。

您可能想知道您的骨架预测何时被遮挡或者视频特定注释的哪些帧丢失。

您还可以变得更加聪明,将您的标签与 SAM 等基础模型的结果进行比较。

这些不同的用例是您构建自定义指标的情况。

您可以在此处找到用于编写自定义指标的文档,也可以按照上面提供的任何链接找到特定的质量指标,并在 GitHub 上找到其实现。

结论

质量指标构成了系统地探索、评估和迭代机器学习数据集和模型的基础。

借助 Encord Active,可以轻松定义、执行和利用质量指标,以充分利用您的数据、模型和注释器。我们使用它们来切片数据、比较数据、标记数据、查找标签错误等等。这些指标的真正力量在于它们可以任意特定于手头的问题。

相关推荐
Together_CZ几秒前
EasyAnimate:基于Transformer架构的高性能长视频生成方法
人工智能·深度学习·transformer·easyanimate
Eric.Lee20215 分钟前
数据集-目标检测系列- 人与猫互动 猫 检测数据集 cat in the house >> DataBall
人工智能·yolo·目标检测·计算机视觉·猫咪检测·猫与人互动
小白的程序空间17 分钟前
人工智能之机器学习5-回归算法1【培训机构学习笔记】
人工智能·机器学习·回归
chenchihwen19 分钟前
《生成式 AI》课程 作业6 大语言模型(LLM)的训练微调 Fine Tuning -- part1
人工智能
澜舟孟子开源社区33 分钟前
“AI玩手机”原理揭秘:大模型驱动的移动端GUI智能体
人工智能·科技·agi
Mr.鱼41 分钟前
opencv undefined reference to `cv::noarray()‘ 。window系统配置opencv,找到opencv库,但连接不了
人工智能·opencv·计算机视觉
ATpiu44 分钟前
免费微调自己的大模型(llama-factory微调llama3.1-8b)
人工智能·机器学习·llama
凌虚(失业了求个工作)1 小时前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·redis·python·langchain·llama
逝去的紫枫1 小时前
Python PIL:探索图像处理的无限可能
图像处理·人工智能·python
sp_fyf_20242 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-05
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘