使用模糊图像进行通用相机校准

作者： Zezhun Shi
独立研究员 wsfddn@foxmail.com

摘要

相机校准是3D视觉的基础。通用相机校准比参数化相机校准能产生更准确的结果。然而，使用打印的校准板校准通用相机模型所需的图像数量远多于参数化校准，这使得运动模糊对于个人用户来说几乎是不可避免的。作为解决这一问题的首次尝试，我们利用几何约束和局部参数化照明模型，同时估计特征位置和空间变化的点扩散函数（PSF），并解决了在传统图像去模糊任务中无需考虑的平移模糊性。实验结果验证了我们方法的有效性。

关键词： 相机校准 · 点扩散函数 · 反卷积 · 图像去模糊

1. 引言

相机校准建立了从3D观测射线到图像像素的映射，是3D视觉的基础 [2,5,22,28,34]。相机模型分为两类：参数化模型 [9, 15, 26, 39, 51]，假设镜头畸变具有全局函数形式；以及通用模型 [1,11,17,40,44]，独立校准每条射线而无此类假设。Schöps等人 [40] 表明，通用模型消除了参数化模型固有的系统性方向偏差，有利于立体深度估计等下游任务 [2,22]。

所有现有的校准方法都假设输入图像是清晰的。这对于参数化校准很容易满足，因为它只需要十几张精心拍摄的图像。然而，通用校准可能需要数千张图像 [40] 才能覆盖完整的像素网格，使得在实际拍摄过程中几乎不可能保证完全没有运动模糊。低帧率的廉价相机进一步加剧了这个问题。丢弃模糊帧会浪费宝贵的像素覆盖范围并延长数据收集时间。

将通用去模糊 [13,30,33,46,50] 作为预处理应用无法达到校准所需的亚像素几何保真度。现有的使用校准图案的PSF估计方法 [8, 35, 47] 假设每个区域的PSF在空间上是不变的，并且要求图案到图像的映射已经从单独的特征提取步骤中获知。在运动模糊下，这一前提失败：传统的特征检测器无法在模糊图像中定位特征，从而形成循环依赖。此外，将反卷积纳入几何管道时会出现一个根本性问题。由于卷积的平移等变性，恢复的潜在图像中的任何平移误差都会被核吸收为大小相等、方向相反的位移（图2）。虽然这种平移模糊性对于只关注视觉质量的标准去模糊无害，但它直接破坏了用于校准的提取特征的几何精度。

我们提出了一个框架，可以从模糊图像中同时估计特征位置和空间变化的PSF，从而无需无模糊捕获即可进行通用相机校准。我们的关键思想是将每个局部区域中的潜在图像参数化为作用于已知校准图案的单应性变换，并进行线性照明校正，将潜在图像从数万个自由像素值减少到仅14个参数。这使得图像内容和模糊核的联合估计具有良好的条件，同时直接产生校准所需的几何映射。由于相邻块共享图案顶点，相邻块的单应性在边界处几何耦合。我们利用这种耦合来强制块间一致性，从而在不增加全局反卷积计算负担的情况下实现空间变化的PSF估计 [14,21,36]。剩余的全球平移模糊性通过将反卷积特征与从少量清晰图像校准的参数化相机对齐来消除。

我们的贡献如下：

我们制定了一种单应性参数化的局部反卷积方法，该方法从已知校准图案中联合估计几何映射和模糊核，打破了特征提取和去模糊之间的循环依赖。我们进一步推导了星形校准图案的全可微近似用于PSF估计，实现了基于梯度的单应性参数优化（见补充材料）。
我们引入了几何块间约束，通过共享图案顶点耦合相邻单应性，从而实现空间变化的PSF估计。与先前只能处理每个区域单个不变PSF的方法 [8] 不同，我们的公式自然地适应了光学模糊和运动模糊的空间变化。
我们解决了反卷积过程中固有的平移模糊性，否则这会破坏几何精度，并通过相邻块的局部几何对齐结合全局参数化相机对齐来解决它。

2. 相关工作

相机校准是将数学模型拟合到具有已知3D结构的校准目标及其图像映射。传统上，相机模型对针孔相机应用径向和切向校正，参数很少，主要包括Brown-Conrady [9,15,31,51] 和鱼眼相机 [26,39]，称为参数化或全局模型 [38]。参数化相机模型校准的一个核心操作是使用亚像素算法在图像中定位稀疏校准目标特征，如棋盘格 [10, 16, 37] 或圆圈 [4,20,43]。在实践中，散焦通常会导致特征点定位不精确。为了解决这个问题，许多研究人员使用对散焦更鲁棒的相位图案，而不是传统的静态校准目标 [23,32,49]。其他尝试包括Ha等人 [18] 使用互补二进制图案，将散焦建模为高斯函数并通过反卷积获取特征点。

参数化模型满足了大多数校准需求。然而，考虑到非透视成像系统（如曲面镜和弯月透镜）的存在，Grossberg和Nayar提出了一种不同的相机模型，独立校准每条射线和像素之间的映射 [17]（图1），后续研究称为射线模型、表面模型或通用模型 [38]。在他们的实验中，他们在两个已知距离的屏幕上显示二进制条纹，以获得对应于相机像素的物理射线。虽然他们取得了有意义的结果，但二进制条纹的分辨率和高精度屏幕放置给校准精度和操作便利性带来了限制。Sturm和Ramalingam代数地提供了一种在通用模型下估计任意放置校准目标的相机位姿的方法 [44]，消除了固定屏幕放置的约束。Dunne等人使用了提供密集特征的相位图案 [11]。他们首先通过显示器校准射线映射以获得虚拟中心相机，然后使用常规程序校准针孔相机，简化了通用相机校准的复杂性。这种方法被Brousseau和Roy扩展到多个虚拟中心相机的组合 [3]，实现了大视场轴对称鱼眼相机的校准。虽然相位图案提供了密集的射线映射，但校准过程不如传统打印校准目标方便。Beck和Stiller使用B样条插值在离散网格上拟合通用模型 [1]，仅使用棋盘格就实现了高精度通用模型校准。在此基础上，Schops等人使用了星形校准目标，该目标比棋盘格提供更多的图像梯度信息，以及新的亚像素算法和完整的BA流程 [40]。

在他们的实验中，这个完整的通用相机校准流程展示了极高的精度。更重要的是，他们表明参数化相机模型存在系统的重投影方向误差，因此即使是通用模型中亚像素校准精度的微小提高也能受益于依赖连续图像信息的视觉应用，如立体深度估计 [2,22]。

PSF估计是光学和计算机视觉的基础。最直接的方法是采样点光源的响应，但这对噪声非常敏感。更鲁棒的方法采用具有已知结构的人工校准图案，如一维条纹 [6]、棋盘格 [47]、分段弧 [25,42] 和圆圈 [27]。Delbracio等人 [8] 证明了伯努利噪声图案可以接近最佳估计精度。所有这些方法的一个共同前提是必须预先知道从理想图案到其图像的映射，通常通过单独的特征提取过程获得。Mosleh等人 [35] 使用显示器依次显示两个图案，一个用于几何定位，另一个用于PSF估计。然而，这些方法仅在孤立位置和固定深度估计PSF。为了获得空间密集的估计，可以参数化PSF，例如使用2D高斯 [27] 或更好地捕捉不对称像差的Sinh Arcsinh模型 [24]。扩展估计到整个深度范围需要多个距离的校准图像；Shih等人 [41] 结合点源采样和校准镜头模型，将所需捕获量减少了大约两个数量级。上述所有方法的一个关键限制是假设图案到图像的映射已经精确已知。

在我们的问题中，运动模糊阻止了传统特征提取提供这种映射，这促使我们进行联合估计公式化。

对于图像去模糊，目标从精确的PSF恢复转变为产生视觉上令人愉悦的潜在图像。在没有校准图案可用的情况下，盲运动去模糊通常通过对潜在图像和核进行交替优化来解决。潜在图像先验的选择至关重要。Fergus等人 [13] 学习了自然图像梯度高斯混合先验，首次实现了对具有大模糊的单图像的盲反卷积。Michaeli和Irani [33] 表明，单图像内部的补丁递归可以作为更鲁棒的先验。这些想法启发了后续基于学习的去模糊方法 [30,46,50]。对于特定领域的任务，定制的先验可能更有效：Sörös等人 [45] 利用了QR码的二进制结构，实现了比通用算法更快、更准确的去模糊。我们的工作遵循利用领域结构的理念，但更进一步，将潜在图像参数化为已知校准图案上的单应性变换，从而同时产生校准所需的几何映射。

上述所有方法都假设空间不变的模糊核，这在一般相机运动或视场范围内并不成立。对于空间变化的PSF问题，Nagy和O'Leary [36] 提出了图像域插值，Flicker和Rigaut [14] 使用了多个PSF图案，Hirsch等人 [21] 表明在卷积前后应用空间变化的权重会产生更好的结果。然而，这些方法必须联合求解所有像素值和所有局部核，导致计算成本过高，并产生严重欠定的系统，限制了PSF区域的数量。相比之下，我们的单应性参数化将每个局部区域减少到14个未知数，并通过共享校准图案顶点在相邻块之间引入几何耦合，从而无需全局反卷积即可实现空间变化的PSF估计。

3. 预备知识

3.1 Brown-Conrady 模型

带有镜头畸变的针孔相机通过以下公式将3D点 PPP 映射到图像点 ppp：
p=πd(M,P)=K(d([MP]∼),1) p = \pi_d(M, P) = K(d([MP]_\sim), 1) p=πd(M,P)=K(d([MP]∼),1) (1)

其中 M=[R∣t]M=[R | t]M=[R∣t] 是相机外参矩阵，KKK 是内参矩阵，[⋅]∼[\cdot]_\sim[⋅]∼ 表示从齐次坐标到归一化图像坐标的转换，即 (X,Y,Z)⊤↦(X/Z,Y/Z)⊤(X, Y, Z)^\top \mapsto (X/Z, Y/Z)^\top(X,Y,Z)⊤↦(X/Z,Y/Z)⊤，而 (⋅;1)⊤(\cdot; 1)^\top(⋅;1)⊤ 转换回齐次形式。

函数 d:R2→R2d: \mathbb{R}^2 \to \mathbb{R}^2d:R2→R2 根据Brown--Conrady模型应用镜头畸变：
d(x)=(1+k1r2+k2r4+k3r6)x+(2p1xy+p2(r2+2x2)p1(r2+2y2)+2p2xy) d(x) = (1 + k_1 r^2 + k_2 r^4 + k_3 r^6)x + \begin{pmatrix} 2p_1 xy + p_2(r^2 + 2x^2) \\ p_1(r^2 + 2y^2) + 2p_2 xy \end{pmatrix} d(x)=(1+k1r2+k2r4+k3r6)x+(2p1xy+p2(r2+2x2)p1(r2+2y2)+2p2xy) (2)

其中 x=(x,y)⊤x=(x, y)^\topx=(x,y)⊤ 是归一化图像坐标，且 r2=x2+y2r^2 = x^2 + y^2r2=x2+y2。

3.2 单应性与相机运动

对于平面校准目标，将图案平面与（无畸变）图像联系起来的单应性 H∈R3×3H \in \mathbb{R}^{3\times3}H∈R3×3 由相机运动决定：
H=K(r1∣r2∣t) H = K(r_1 | r_2 | t) H=K(r1∣r2∣t) (3)

其中 r1,r2r_1, r_2r1,r2 是 RRR 的前两列。2D平移是一种特殊的单应性：
T(x)=(10x101x2001) T(x) = \begin{pmatrix} 1 & 0 & x_1 \\ 0 & 1 & x_2 \\ 0 & 0 & 1 \end{pmatrix} T(x)= 100010x1x21 (4)

3.3 反卷积中的平移模糊性

在空间不变模糊下，观测图像建模为：
I=k∗L+n I = k * L + n I=k∗L+n (5)

其中 LLL 是潜在清晰图像，kkk 是模糊核，∗*∗ 表示卷积，nnn 代表加性噪声 [8]。反卷积旨在从 III 恢复 LLL 和/或 kkk。

然而，由于卷积的平移等变性，对于任何2D位移 δ\deltaδ，令 L′(x)=L(x−δ)L'(x) = L(x - \delta)L′(x)=L(x−δ) 且 k′(x)=k(x+δ)k'(x) = k(x + \delta)k′(x)=k(x+δ)，则：
k′∗L′=k∗L k' * L' = k * L k′∗L′=k∗L (6)

这意味着恢复的潜在图像中的任何平移误差都会被核吸收为大小相等、方向相反的位移。如果没有额外的约束，这种模糊性使得分解不唯一。

4. 方法

4.1 概述

我们的目标是提取用于相机校准的亚像素精度特征点，这对于传统的反卷积算法仍然具有挑战性。存在两个主要障碍：首先，如图2所示，反卷积过程中固有的平移模糊性；其次，模糊核的复杂性，它以空间变化的方式混合了镜头模糊和运动模糊。

与其执行沉重的全局反卷积，不如采用与局部区域单应性估计集成的局部反卷积策略。我们利用Schops等人 [40] 提出的校准图案，其特征是中央有一个AprilTag，周围环绕着星形图案元素。初始单应性源自中央AprilTags，并通过区域生长过程扩展。为了解决平移模糊性，我们通过多阶段对齐过程将每一帧与校准的参数化相机对齐。

4.2 局部反卷积

PSF估计和图像去模糊通常涉及最小化卷积代价函数。在我们的框架中，我们避免了通常在运动模糊下失效的显式特征提取算法。相反，我们将局部图像表示为作用于理想星形图案的单应性变换，并进行线性变化的亮度校正。优化目标公式化为：
arg⁡min⁡H,k,p∥I−k∗(S(H)⊙A(p)+B(p))∥2+λ∥k∥2 \arg \min_{H, k, p} \| I - k * (S(H) \odot A(p) + B(p)) \|^2 + \lambda \| k \|^2 argH,k,pmin∥I−k∗(S(H)⊙A(p)+B(p))∥2+λ∥k∥2 (7)

其中 III 是观测图像，kkk 是模糊核，S(H)S(H)S(H) 是由单应性 HHH 扭曲的理想星形图案，λ\lambdaλ 是正则化权重。空间变化的幅度 A(p)A(p)A(p) 和偏置 B(p)B(p)B(p) 使用归一化像素坐标 (u,v)(u, v)(u,v) 定义为：
A(p)=a1u+a2v+a3,B(p)=b1u+b2v+b3 A(p) = a_1 u + a_2 v + a_3, \quad B(p) = b_1 u + b_2 v + b_3 A(p)=a1u+a2v+a3,B(p)=b1u+b2v+b3 (8)

其中 p=[a1,a2,a3,b1,b2,b3]⊤p = [a_1, a_2, a_3, b_1, b_2, b_3]^\topp=[a1,a2,a3,b1,b2,b3]⊤。

我们在可微分的PyTorch框架内实现了此优化。对于每次迭代，使用闭式最小二乘解解析地求解核 kkk 和亮度参数 ppp。给定固定的 kkk 和 HHH，我们定义基图像 fi=k∗ϕif_i = k * \phi_ifi=k∗ϕi，其中 ϕ=[Su,Sv,S,u,v,1]\phi = [Su, Sv, S, u, v, 1]ϕ=[Su,Sv,S,u,v,1]。最佳亮度参数计算为 p∗=(F⊤F)−1F⊤vec(I)p^* = (F^\top F)^{-1} F^\top \text{vec}(I)p∗=(F⊤F)−1F⊤vec(I)，其中 F=[vec(f1),...,vec(f6)]∈RN×6F = [\text{vec}(f_1), ..., \text{vec}(f_6)] \in \mathbb{R}^{N \times 6}F=[vec(f1),...,vec(f6)]∈RN×6 是由向量化基图像组成的设计矩阵。8维单应性矩阵 HHH 使用带有反向传播的梯度下降法进行优化，允许在连续参数空间中精确收敛。

4.3 局部对齐

由于卷积的平移不变性，相邻块之间的反卷积结果可能会出现重叠差异。我们在估计的单应性矩阵中引入平移校正 TTT：
H~i,j(xi,jL)=T(xi,jL)Hi,j \tilde{H}{i,j}(x^L{i,j}) = T(x^L_{i,j}) H_{i,j} H~i,j(xi,jL)=T(xi,jL)Hi,j (9)

其中 i,ji, ji,j 表示网格索引，xLx^LxL 表示2D平移向量。

对于每个元素块，我们考虑其4个邻居，并最小化共享顶点之间的距离：
arg⁡min⁡xL∑i,j,m{d[H~i,j(xi,jL)(m1),H~i,j+1(xi,j+1L)(−m1)]2+d[H~i,j(xi,jL)(1m),H~i+1,j(xi+1,jL)(1−m)]2} \arg \min_{x^L} \sum_{i,j,m} \left\{ d\left[ \tilde{H}{i,j}(x^L{i,j}) \begin{pmatrix} m \\ 1 \end{pmatrix}, \tilde{H}{i,j+1}(x^L{i,j+1}) \begin{pmatrix} -m \\ 1 \end{pmatrix} \right]^2 + d\left[ \tilde{H}{i,j}(x^L{i,j}) \begin{pmatrix} 1 \\ m \end{pmatrix}, \tilde{H}{i+1,j}(x^L{i+1,j}) \begin{pmatrix} 1 \\ -m \end{pmatrix} \right]^2 \right\} argxLmini,j,m∑{d[H~i,j(xi,jL)(m1),H~i,j+1(xi,j+1L)(−m1)]2+d[H~i,j(xi,jL)(1m),H~i+1,j(xi+1,jL)(1−m)]2} (10)

其中 m∈{−1,1}m \in \{-1, 1\}m∈{−1,1}，d[⋅,⋅]d[\cdot, \cdot]d[⋅,⋅] 是笛卡尔距离。为了防止漂移累积，我们监控PSF的强度加权质心，并在初始估计阶段后应用校正平移以重新居中PSF，确保优化保持稳定。

4.4 全局对齐

参数化相机模型通常无法捕捉系统的重投影方向偏差。为了解决反卷积中固有的平移模糊性，我们将观测值与校准的参数化模型对齐。观测值 pi,jp_{i,j}pi,j 与其参数化投影 πd(M,Pi,j)\pi_d(M, P_{i,j})πd(M,Pi,j) 之间的差异建模为：
pi,j−πd(M,Pi,j)=ϵi,jdeconv+ϵi,jalign+b(ri,j) p_{i,j} - \pi_d(M, P_{i,j}) = \epsilon_{i,j}^{\text{deconv}} + \epsilon_{i,j}^{\text{align}} + b(r_{i,j}) pi,j−πd(M,Pi,j)=ϵi,jdeconv+ϵi,jalign+b(ri,j) (11)

其中 πd\pi_dπd 表示Brown-Conrady模型，Pi,jP_{i,j}Pi,j 是3D点，ri,jr_{i,j}ri,j 是射线方向。项 ϵdeconv\epsilon^{\text{deconv}}ϵdeconv 和 ϵalign\epsilon^{\text{align}}ϵalign 分别是来自反卷积和局部对齐的随机误差，b(r)b(r)b(r) 代表确定性系统偏差。假设随机项是无偏的且均值接近零，它们在对多个观测值进行联合优化时的影响消失，留下系统偏差作为主要残差。

我们将全局对齐公式化为一个鲁棒优化问题，以求解相机运动 MMM 和全局平移 xGx^GxG：
arg⁡min⁡xG,M∑i,jρ(d[πd(M,Pi,j),T(xG)pi,j]2) \arg \min_{x^G, M} \sum_{i,j} \rho(d[\pi_d(M, P_{i,j}), T(x^G) p_{i,j}]^2) argxG,Mmini,j∑ρ(d[πd(M,Pi,j),T(xG)pi,j]2) (12)

其中 ρ\rhoρ 表示鲁棒核。

空间变化偏差补偿。 在实践中，我们观察到全局对齐后的残差不是均匀分布的，而是在图像平面上表现出明显的空间结构。初步实验表明，单个全局平移 xGx^GxG 不足以解释局部PSF估计偏差。虽然将网格划分为四个独立的象限并求解单独的平移偏移可以部分缓解这些变化，但这种离散方法在象限边界处引入了人为的跳跃不连续性。为了解决这些残差结构而不牺牲校正的平滑性，我们将偏差建模为归一化网格坐标 (iˉ,jˉ)∈[−1,1]2(\bar{i}, \bar{j}) \in [-1, 1]^2(iˉ,jˉ)∈[−1,1]2 上的连续双线性场 b^(iˉ,jˉ)\hat{b}(\bar{i}, \bar{j})b^(iˉ,jˉ)：
b^(iˉ,jˉ)=a0+a1iˉ+a2jˉ+a3iˉjˉ \hat{b}(\bar{i}, \bar{j}) = a_0 + a_1 \bar{i} + a_2 \bar{j} + a_3 \bar{i} \bar{j} b^(iˉ,jˉ)=a0+a1iˉ+a2jˉ+a3iˉjˉ (13)

其中 ak∈R2a_k \in \mathbb{R}^2ak∈R2 是系数向量。然后通过交替两个步骤进行对齐。首先，给定当前的偏差场，校正观测点并通过PnP更新相机位姿 MMM。其次，给定位姿，我们计算每点残差并通过加权最小二乘法更新偏差系数 {ak}\{a_k\}{ak}。这个迭代过程确保了刚性全局约束，同时平滑地补偿局部空间趋势。

5. 实验

5.1 图案比较

我们使用两种不同的校准图案定量评估PSF估计的准确性：传统棋盘格（具有两个相交边缘方向）和星形图案（提供八个相交边缘方向）。为了评估我们PSF恢复的泛化能力，我们使用Lucida Handwriting字形作为复杂的模糊核，将其颜色反转，调整大小为 15×1515 \times 1515×15 像素，并用高斯滤波器平滑 (σ=0.8\sigma=0.8σ=0.8)。该字形作为方程7中的唯一未知数，而所有其他几何参数保持固定。

如图4所示，在无噪声条件下，两种图案都实现了可比的重建质量。然而，当受到5%高斯噪声影响时，棋盘格图案表现出严重的退化，SSIM降至约0.58，PSNR降至13 dB。这种失败源于棋盘格有限的边缘方向，这使得PSF估计在对角线方向上欠定，并且对随机噪声扰动高度敏感。相比之下，星形图案通过其八个方向的边缘提供了密集的频域覆盖，保持了鲁棒的性能，SSIM约为0.96，PSNR高于22 dB。这种卓越的噪声鲁棒性和几何稳定性证实，星形图案是在模糊环境中进行高精度PSF校准的最佳选择。

5.2 全局对齐验证

为了验证我们全局对齐公式的有效性，我们使用Schops等人 [40] 提供的D435I校准数据集进行受控实验。我们提取真实特征，并在每帧中引入 ±5\pm 5±5 像素范围内的合成随机平移，模拟反卷积过程中固有的平移模糊性。使用20张均匀采样的图像，我们校准基线参数化模型 πd\pi_dπd 和3D点 PPP 作为对齐参考。

我们评估了三种损失函数的性能：Huber鲁棒核、算术平均值和中位数。如图5所示，我们的对齐方法显著减少了引入的随机偏移，产生了重投影方向的均匀分布。我们观察到，当相机z轴几乎与目标法线平行时，透视变换接近仿射映射，使得2D平移估计病态。为了缓解这种情况，我们应用基于光轴和目标法线之间角度的方向过滤器。如图6所示，过滤低于 π/10\pi/10π/10 阈值的帧消除了大的估计偏差（由黑点表示），并建立了剩余对齐误差与原始特征噪声之间的强相关性。表1中的数值结果证实，Huber损失达到了最高精度，对齐误差达到0.042像素。这表明我们的对齐策略有效地恢复了确定性系统偏差，同时最小化了随机特征噪声的影响。

表1：中值/平均重投影误差比较（像素）。

角度阈值	0	π/10\pi/10π/10
损失类型	Huber / Mean / Median	Huber / Mean / Median
随机平移	0.257/0.275 / 0.259/0.278 / 0.260/0.278	0.236/0.279 / 0.243/0.286 / 0.243/0.286
全局对齐	0.061/0.064 / 0.064/0.068 / 0.090/0.096	0.042/0.044 / 0.058/0.059 / 0.065/0.066
随机平移(自)	0.213/0.278 / 0.213/0.278 / 0.213/0.278	0.289/0.354 / 0.288/0.354 / 0.288/0.354
全局对齐(自)	0.036/0.050 / 0.037/0.051 / 0.039/0.057	0.036/0.047 / 0.037/0.048 / 0.039/0.052
原始数据	0.028/0.036 / 0.028/0.036 / 0.028/0.036	0.031/0.040 / 0.031/0.039 / 0.031/0.039

5.3 现实世界评估

我们在使用Intel RealSense D435I（全局快门，1280×7201280 \times 7201280×720）捕获的真实数据上评估了整个流程，使用的是Schöps等人 [40] 的星形图案校准目标。我们以15 fps捕获了204帧模糊图像集（故意手抖），以及一小部分20张清晰图像集，用于校准全局对齐中使用的参数化相机模型 πd\pi_dπd 和3D目标点 PPP（方程12）。

我们验证了D435I传感器响应在工作强度范围内是线性的 (R2>0.999R^2 > 0.999R2>0.999)，确认尽管OpenCV中有cv::CalibrateDebevec等工具可用，但去卷积不需要辐射校准 [7]。

PSF估计和质心校正。 我们将局部反卷积（方程7）应用于204帧模糊图像，PSF窗口为 17×1717 \times 1717×17 像素。图7显示了代表性帧的估计空间变化PSF场。没有质心校正（左），累积的平移漂移导致图像边界附近的PSF偏离中心并变得不规则。通过校正重新居中（右），PSF估计在空间上是连贯的，具有一致的运动模糊方向，该方向在整个视场中平滑变化。我们预过滤了中心区域中值 σmajor<3.8\sigma_{major} < 3.8σmajor<3.8 像素的帧，因为这些帧包含的模糊不足以进行可靠的PSF估计，保留了42帧模糊图像用于后续处理。

质量过滤。 并非帧内的所有网格元素都能产生可靠的估计。我们用两个指标表征每个元素：方程7的去卷积损失，以及边界能量比（BE），定义为估计窗口外两像素环中包含的PSF能量分数。高BE表明真实PSF超出了估计窗口并被截断，无论损失值如何都会产生有偏的结果。图8证实了这一点：右面板显示BE >0.15> 0.15>0.15 的元素表现出系统性升高的损失，而左面板揭示低 σmajor\sigma_{major}σmajor 图像（散焦主导，高偏心度）往往比运动模糊主导的图像具有更高且更多变的损失。基于这些观察，我们应用两阶段过滤：首先，移除BE >τBE> \tau_{BE}>τBE 的元素；然后，移除损失 >τL> \tau_L>τL 的元素。连通性通过从中心区域损失最低的种子元素进行BFS来维持。

对齐评估。 图9显示了在 τBE=0.12\tau_{BE}=0.12τBE=0.12 时使用双线性偏差场（方程13）进行全局对齐后的中值重投影误差，并在损失阈值 τL\tau_LτL 上进行评估。比较了三种配置：无任何过滤或局部对齐的原始单应性平移（灰色），无局部对齐的BE过滤元素（蓝色），以及具有局部对齐和BE过滤的完整流程（红色）。完整流程在 τL=30\tau_L=30τL=30 时实现了约0.08像素的中值对齐误差，表明局部对齐、质量过滤和空间变化偏差补偿的组合对于亚像素精度至关重要。

校准可行性分析。 正如Schöps等人 [40] 所示，通用相机模型相对于参数化相机模型的主要优势不在于更低的重投影误差，而在于消除系统性方向偏差（图5）。为了使通用校准从额外观测中受益，关键要求是贡献的特征是无偏的，即它们的误差是零均值随机噪声而不是系统性偏移。我们的约0.08像素的对齐误差（图9）在构造上是随机的：方程11中的误差分解表明，确定性偏差 b(r)b(r)b(r) 被全局对齐吸收，只剩下零均值项 ϵdeconv\epsilon^{\text{deconv}}ϵdeconv 和 ϵalign\epsilon^{\text{align}}ϵalign。将这些特征添加到校准中会增加每条射线的观测数量和角度覆盖范围，而不会引入方向偏差，这正是通用校准改进的条件。

6. 结论

我们提出了第一个利用运动模糊图像进行通用相机校准的框架。我们的单应性参数化局部反卷积联合估计特征位置和空间变化的PSF，而局部对齐、质量过滤和双线性偏差场补偿的结合解决了反卷积中固有的平移模糊性。在使用Intel RealSense D435I捕获的真实数据上，我们的方法在模糊图像上实现了约0.08像素的特征对齐误差，表明运动模糊帧可以提供适合校准的几何精确特征。由于这项工作为以前未探索的问题建立了一个初步框架，我们希望它能激发关于运动先验集成、更鲁棒的PSF估计以及扩展到滚动快门相机等主题的进一步研究。