目标检测 | 基于Weiler--Atherton算法的IoU求解
IoU
交并比（Intersection over Union, IoU） 是计算机视觉领域中常用的一个评价指标，尤其在目标检测与图像分割任务中，用于衡量预测结果与真实标注之间的重合程度。
其定义如下：
- 如图所示给定任意两个多边形框\(B_1, B_2\)（预测框与真实框），其 IoU 的计算公式为：
\[\text{IoU}(B_1, B_2) = \frac{|B_1 \cap B_2|}{|B_1 \cup B_2|} \]
其中\(|B_1 \cup B_2|\)为二者并集的面积，\(|B_1 \cap B_2|\)为二者交集的面积。
IoU的取值范围为\([0,1]\)，当\(IoU=1\)时表示预测框与真实框完全一致 ；当\(IoU=0\)时表示预测框与真实框没有任何重叠；
通过评价\(IoU\)可以评估目标检测模型的性能
基于Weiler--Atherton算法的IoU求解
Bounding Box
在目标检测任务中，通常使用 包围盒（bounding box） 表示目标的矩形区域。根据任务需求的不同，包围盒可以分为以下几类：
-
轴对齐包围盒（Axis-Aligned Bounding Box，AABB）
轴对齐包围盒一般应用于2D的目标检测任务，四条边分别与x轴和y轴对齐，可以表达为：
\[B_\text{AABB} = (x_c, y_c, w, h), \quad w > 0, \, h > 0 \]
- 其中\((x_c,y_c)\)为中心坐标，\(w,h\)分别为包围盒的宽和高，也被称为外延（extent）
-
BEV包围盒（Bird's Eye View Bounding Box，BEV Boudning Box）
BEV包围盒一般用于自动驾驶任务，在俯视图（BEV）中，每个物体除了位置和尺寸外，还包含一个航向角（yaw）表示方向，可以表达为：
\[B_\text{BEV} = (x_c, y_c, l, w, \theta), \quad l > 0, \, w > 0, \, \theta \in [-\pi, \pi) \]
- 其中\((x_c,y_c)\)为中心坐标，\(l,w\)分别为包围盒的长和宽，\(\theta\)为全局坐标系的旋转角度
-
3D包围盒（3D Boudning Box）
3D包围盒在BEV包围盒的基础上增加了高度，也是自动驾驶任务中常用的表示格式
\[B_\text{3D} = (x_c, y_c, z_c, l,w,h, \theta), \quad w, l, h > 0, \, \theta \in [-\pi, \pi) \]
- 其中\((x_c,y_c,z_c)\)为中心坐标，\(l,w,h\)分别为包围盒的长，宽和高，\(\theta\)为全局坐标系的旋转角度
在本文中，我们以 BEV 包围盒 为例，使用 Weiler--Atherton 算法求解 IoU。对于3D包围盒的 IoU 计算，可通过将 BEV 包围盒在俯视平面上的结果拓展到高度方向来实现。
Corner坐标转换
在计算之前，我们首先需要将多边形从包围盒表示转换为Corner坐标表示（四个顶点的坐标），这个过程可以分为三步，首先给定一个包围盒：
\[B_\text{BEV} = (x_c, y_c, l, w, \theta), \quad l > 0, \, w > 0, \, \theta \in [-\pi, \pi) \]
计算局部坐标系下的四个角点
\[P^\text{local} = \begin{bmatrix} +\frac{l}{2} & +\frac{w}{2} \\ +\frac{l}{2} & -\frac{w}{2} \\ -\frac{l}{2} & -\frac{w}{2} \\ -\frac{l}{2} & +\frac{w}{2} \end{bmatrix} \in \mathbb{R}^{4\times 2} \]
绕中心旋转矩阵
\[P^\text{rotated} = P^\text{local} \cdot R(\theta)^\top \]
其中：
\[R(\theta) = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix} \]
平移到全局坐标系
\[P^\text{global}=P^\text{rotated}+ \begin{bmatrix} x_c & y_c \\ x_c & y_c \\ x_c & y_c \\ x_c & y_c \end{bmatrix} \]
将上述的三个过程合并为齐次坐标系矩阵：
\[\begin{bmatrix} x_1 & y_1 & 1 \\ x_2 & y_2 & 1 \\ x_3 & y_3 & 1 \\ x_4 & y_4 & 1 \end{bmatrix} = \begin{bmatrix} + \frac{l}{2} & + \frac{w}{2} & 1 \\ + \frac{l}{2} & - \frac{w}{2} & 1 \\ - \frac{l}{2} & - \frac{w}{2} & 1 \\ - \frac{l}{2} & + \frac{w}{2} & 1 \end{bmatrix} \cdot \begin{bmatrix} \cos\theta & \sin\theta & x_c \\ -\sin\theta & \cos\theta & y_c \\ 0 & 0 & 1 \end{bmatrix} \]
Weiler--Atherton算法
Weiler--Atherton算法是一种计算任意两个非凹图形交集的算法，可以被分为四个步骤：
- 求解所有相交点
- 求解所有被包围的顶点
- 将相交点和被包围的顶点放入一个数组中，按照逆时针进行排序
- 按照顺序连接为新的多边形求解其面积
给定任意两个包围盒的Cornor坐标表示\(B_1,B_2\in\mathbb{R}^{4 \times 2}\)
计算所有相交点
给定任意两条线段\(L_1=(x_1,y_1),L_2=(x_2,y_2)\)与\(M_1=(x_3,y_3),M_2=(x_4,y_4)\)，我们可以如下求出其交点：
定义\(r=L_2-L_1,s=M_2-M_1\)，有：
\[t=\frac{(M_1-L_1)\times s}{r\times s},u=\frac{(M_1-L_1)\times r}{r\times s} \]
其中\(\times\)为二维向量叉乘，定义如下：
\[(x_1,y_1)\times(x_2,y_2)=x_1y_2 - y_1x_2 \]
那么线段\(P,Q\)的交点为：
\[P_{insect}= \begin{cases} L_1 + t r, & \text{if } r\times s \neq 0 \text{ and } t \in [0,1], u \in [0,1] \\[1ex] \text{无交点}, & \text{otherwise} \end{cases} \]
通过线段相交算法我们可以求出任意两个线段之间的交点（如图所示的紫色点）
计算所有被对方包围起来的顶点
给定任意一个包围盒\(B\in\mathbb{R}^{4 \times 2}\)与点\(P\)，我们可以通过如下过程求解点\(P\)是否在包围盒\(B\)中：
定义\(P_a=B[0, :],P_b=B[1, :],P_d=B[3, :]\)
求得：
\[t=\frac{AP\cdot AB}{||AB||^2},u=\frac{AP\cdot AD}{||AD||^2} \]
其中\(AB=P_b-P_a,\ AD=P_d-P_a,\ AP = P-P_a\)
如图所示，当\(t\in[0,1]\and u\in[0,1]\)时，点\(P\)位于包围盒中\(B\)
通过上述流程我们可以求解所有在对方包围盒的顶点（如图所示的绿色点）
顶点极角排序
为了方便连接每个顶点，接下来我们将所有顶点按照极坐标系下的角度进行排序，给定任意两点\(P_1(x_1,y_1)\)与\(P_2(x_2,y_2)\)，有比较函数如下：
\[\text{cmp}(P_1,P_2) = \begin{cases} \text{true}, & \Theta_{P_1} < \Theta_{P_2} \\[0.5em] \text{false}, & \Theta_{P_1} \geq \Theta_{P_2} \\[0.5em] \end{cases} \]
其中
\[\Theta_P = \begin{cases} \arctan2(y, x), & \arctan2(y, x) \ge 0 \\ \arctan2(y, x) + 2\pi, & \arctan2(y, x) < 0 \end{cases} \]
但是\(\arctan2\)这个操作非常消耗资源，所以我们不会直接计算极角\\theta ，我们会进行如下优化：
给定极坐标系的坐标(r,\\theta) \\(，我们可以构建一个关于\\)\\theta\\(的函数\\)g(\\theta)=\|\\cos\\theta\|\\cos\\theta，这个函数会在第一，二象限递减，第三，四象限递增，接下来有：
\[\begin{align} g(\theta) & = \frac{r^2}{r^2} \, g(\theta) \\ & =\frac{r^2 \, |\cos\theta| \cos\theta}{r^2}\\ & =\frac{|r \cos\theta| \cdot (r \cos\theta)}{r^2} \\ \end{align} \]
其中我们将极坐标系公式代入原式：
\[x = r \cos\theta, \quad y = r \sin\theta, \quad r = \sqrt{x^2 + y^2} \]
得到：
\[\begin{align} g(\theta) &=\frac{|r \cos\theta| \cdot (r \cos\theta)}{r^2} \\ &=\frac{|x|\cdot x}{x^2+y^2} \end{align} \]
在实际计算中为了防止除0我们会在分母加上一个非常小的数\(\varepsilon\)：
\[g(\theta) =\frac{|x|\cdot x}{x^2+y^2+\varepsilon} \]
我们可以给出优化版本的比较函数\(\text{cmp}(\cdot,\cdot)\)：
\[\text{cmp}(P_1,P_2) = \begin{cases} \text{false}, & (x_1,y_1) = (x_2,y_2) \\[0.5em] \text{true}, & y_1 > 0,\, y_2 < 0 \\[0.5em] \text{false}, & y_1 < 0,\, y_2 > 0 \\[0.5em] \text{true}, & y_1 > 0,\, y_2 > 0,\, g(\theta_1) > g(\theta_2) \\[0.5em] \text{true}, & y_1 < 0,\, y_2 < 0,\, g(\theta_1) < g(\theta_2) \\[0.5em] \end{cases} \text{其中 } g(\theta) = \frac{|x|\cdot x}{x^2+y^2+\varepsilon} \]
形成新的多边形并计算面积
给定任意二维向量\(L=(x_1,y_1),M=(x_2,y_2)\)，我们可以求解二者共同起点所构成的三角形面积\(S_{LM}\)：
\[S_{LM}=\frac{1}{2}|L\times M|=\frac{1}{2}|x_1y_2-y_1x_2| \]
给定已经按照极角进行排序的点集\(\{P_1,\dots,P_n|n\leq8\}\)，我们可以将这些点按照顺序连接为一个闭合的多边形\(I\)，这个多边形由\(n-2\)个三角形所组成，每个三角形\(S_n\)的面积为\(S_n=\frac{1}{2}|(P_{n+1}-P_1)\times (P_{n+2}-P_1)|\)，那么我们可以算出这个多边形的面积：
\[S_{I}=\sum^{n-2}{i=1}\frac{1}{2}|(P{i+1}-P_1)\times (P_{i+2}-P_1)| \]
计算IoU
上文我们已经得到BEV包围盒\(B_1\)与\(B_2\)的交集面积为\(S_I\)，那么我们可以如下算得\(IoU\)：
\[IoU =\frac{Intersection}{Union}= \frac{S_I}{S_{B_1}+S_{B_2}-S_I} \]
如果\(B_1,B_2\)为3D包围盒，可以如下增加一个高度项：
\[IoU =\frac{Intersection}{Union}= \frac{H_I}{H_U}\frac{S_I}{S_{B_1}+S_{B_2}-S_I} \]
其中
\[\begin{align} H_I=&\max(0,\min(z_{B_1}+\frac{h_{B_1}}{2}, z_{B_1}+\frac{h_{B_2}}{2})-\max(z_{B_1}-\frac{h_{B_1}}{2},z_{B_2}-\frac{h_{B_2}}{2}))\\H_U=&h_{B_1}+h_{B_2}-H_I \end{align} \]
参考文献
https://en.wikipedia.org/wiki/Weiler--Atherton_clipping_algorithm