以目标检测和分类任务为例理解One-Hot Code

在目标检测和分类任务中,每一个类别都需要一个编码来表示,同时,这个编码会用来计算网络的loss。比如有猫,狗,猪三种动物,这三种动物相互独立,在分类中,将其中任意一种分类为其他都同等的错误。

在这种情况下,我们比如将猫为0,狗为1,猪为2。就会出现一个问题,三者之间两两距离不同。 这在参与损失计算的时候是完全不能接受的:互相独立的标签之间,竟然出现了不对等的情况。

因此,需要有一种表示方法,将互相独立的标签表示为互相独立的数字,并且数字之间的距离也相等。

那么我们可以利用向量的正交性,也就是猫1,0,0,狗0,1,0,猪0,0,1。那么三者是相互独立的。也就是正交的。

可以这么理解,比如某个物体的分类为70%为猫,20%为狗,10%为猪。那么就有输出向量为0.7,0.2,0.1,这个向量可以理解为在One-Hot编码构成的向量空间中的一个具体值,那么在计算loss的时候,将该值和其groundtruth对应的向量进行比对。在训练中,如果该物体真的为猫,那么其groundtruth就是1,0,0,loss应该抑制后两个概率而增加第一位的概率。

例如这里假设一种loss计算 L o s s = ( G r o u n d T r u t h − 0.5 ) ⋅ P r e d i c t Loss=(GroundTruth-0.5)\cdot Predict Loss=(GroundTruth−0.5)⋅Predict就能够得到一个分数,这个分数的提升就代表着第一类的预测得分增大和后两项的减小。

One-Hot的缺点

当分类数量很大的时候,由于要保证各个分类的正交性,会产生维度爆炸的问题。

相关推荐
IT古董25 分钟前
FDE(Forward Deployed Engineer)详解:AI时代正在崛起的新型工程师
大数据·人工智能·数据挖掘
ZISHU_9871 小时前
用 TLabel 给 SynTouch BioTac 数据做语义标注:从原始信号到结构化标注
开发语言·人工智能·python·数据·机器人触觉
hh9501 小时前
gent Plan x DeepSeek Harness:多 Agent 协作场景下的中央编排实践
人工智能·wpf·adg·火山引擎·agent plan·adg成都社区
cczixun1 小时前
2026 智能体平台落地实战:从 POC 验证到生产上线,避开选型与交付陷阱
人工智能·落地·选型·智能体·2026
IT_陈寒1 小时前
Redis内存警告竟是因为这个不起眼的配置项
前端·人工智能·后端
CHY_1281 小时前
VSO.ai 系列(二):AI验证回归优化实战
人工智能·synopsys·vso.ai·验证加速
2401_890095612 小时前
武汉人工智能应用软件开发实施异常怎么排查?模拟环境与验证步骤
人工智能·案例复盘·武汉自动意志科技·智钳claw·企业ai智能体·ai漫剧生成
泰迪智能科技012 小时前
三种人社职业技能等级证书报考指南对比:人工智能训练师 / 计算机程序设计员 / 服务机器人应用技术员
人工智能·百度·机器人
森山冶仁2 小时前
AI 原生数据治理技术栈:大模型 + 向量库 + 知识图谱怎么选
人工智能·知识图谱·数据治理
记忆张量MemTensor2 小时前
产品更新|MemOS 现已支持 DeepSeek Harness 长期记忆接入
人工智能·typescript·开源·agent