HRNet是一种用于关键点检测的网络架构,它具有一些优点和缺点。
优点:
- 可以保持高分辨率:HRNet将高分辨率 到低分辨率的子网并联 连接,而不是像大多数 现有解决方案那样串联 连接。因此,HRNet能够保持高分辨率,而不是通过从低到高的过程恢复 分辨率。预测的热图可能在空间上更精确。
- 重复的多尺度融合 :大多数现有的融合方案聚合了低级和高级表示。相反,HRNet执行重复的多尺度融合 ,以借助相同深度和相似级别的低分辨率表示来提升高分辨率表示 。这样可以借助低分辨率表示来增强高分辨率表示。
- 全卷积 网络:heatmap可以让网络全卷积,即没有全连接层,输出就是二维图像。这样可以让网络更加灵活。
- 直接使用坐标回归:关键点之间直接使用坐标回归不能够捕捉关键点在空间上的相对关系。而使用heatmap可以区分前景以及背景之间的关系。
缺点:
- 对于那些不可见的点会逐渐弱化:在具体计算loss的时候,MSELOSS计算的是预测出的点与GT点之间的距离,但是这有一个弊端,随着网络的不断训练,对于那些不可见的点会逐渐弱化。为了避免这一现象,使用OHKM损失函数,该函数就是对MSE输出的结果进行了排序,并筛选其中难例部分进行重点回归。但是这增加了计算的复杂性。
总的来说,HRNet在保持高分辨率、多尺度融合和全卷积网络方面具有优势,但在处理不可见点方面仍有待改进。