作者：瞳赋 Tofu Intelligence
几路画面都能正常播放，合成后却出现断开的栏杆、重复的车辆和忽明忽暗的接缝。问题常常不在显示分辨率，而在这些图像是否具有一致的空间关系、采集时刻和曝光条件。用于园区、码头和工业场区观察时，全景图首先要让人正确理解现场。把接缝藏起来只是其中一步。
先看全景是怎样形成的
多画面排列、全景拼接和全向覆盖描述的是三件事。多画面排列只是把若干视频放到一个界面；全景拼接需要把存在重叠的图像映射到共同的几何空间，再处理接缝；全向覆盖描述观察范围，即使覆盖一周，也可能由多个独立窗口组成。采购需求若只写"支持全景"，交付时很容易各说各话。
还要分清同时采集的多镜头全景与转动相机逐段采集的扫描全景。前者仍需解决各通道的时间差，后者天然包含不同时间拍下的区域。扫描完成的背景图可以帮助定位建筑和道路，但不能被读作整片场区在同一时刻的实时画面。显示端应让操作者知道哪些区域正在更新，哪些是此前采集的背景。
重叠区域提供配准依据
拼接通常先寻找相邻画面中的对应点，再估计相机之间的几何关系，将图像投影到共同表面，最后选择接缝并融合亮度。重叠区是建立对应关系的依据。只有一条很窄的重复边缘，或重叠区全是天空、水面和重复窗格时，即便两幅图"挨得上"，也可能缺少可靠的匹配信息。
因此，重叠量不能只按一个固定百分比验收。应同时看纹理是否稳定、曝光后是否仍有细节，以及镜头畸变是否使有效区域变窄。增加重叠可提供更多公共内容，也会减少每幅图新增的覆盖范围；若是扫描采集，还可能增加采集工作量。合理选择取决于现场结构和采集方式，而不是越大越好。
视差让近景和远景难以同时对齐
当两个镜头的观察位置不同，近处立柱与远处厂房在两幅图中的相对位置会变化，这就是视差。把厂房对齐后，立柱可能分成两条；把立柱对齐，远处屋顶又会错开。平面变换适合近似平面场景，或视点接近不变的旋转拍摄。深度差明显且存在视点位移时，用同一个变换强行对齐整幅图，通常会留下局部误差。
云台旋转也不自动等于理想的原地转动。镜头的有效视点与旋转轴之间有偏移时，转动仍可能改变观察位置。实际安装应把近处遮挡物与主要观察区分开考虑，在多个深度上检查接缝。局部形变可以缓解错位，却可能拉弯栏杆或改变建筑轮廓；更柔和的融合也只能弱化边界，不能把错误几何关系变正确。
投影方式也会改变画面的读法。较宽的视角若统一投到平面上，边缘可能明显拉伸；采用柱面或球面展开时，某些现实中的直线又可能在图中变弯。判断接缝质量前，应先说明投影形式和观察范围，避免把投影特性与配准误差混为一谈。
图1 视差与动态重影来自不同原因。原创概念示意，非设备实测图；示意中的位移作了夸大。
动态重影要回到采集时间
同一辆场内运输车在左图出现时还没驶过接缝，在右图出现时已经向前移动。两幅图分别清楚，融合后却会有两个车头、透明轮廓，甚至少掉一段车身。曝光时间较长造成的运动模糊，与不同通道或不同扫描时刻造成的重影，是两种不同问题，不能用同一个"锐化"选项处理。
多相机系统需要检查时间同步和曝光起止关系；扫描全景则应明确时间跨度。动态接缝选择或局部取舍能改善观感，但也可能隐藏某一帧中的移动对象。因此，涉及事件复核时，应保留原始视频及时间信息，不能仅凭融合图认定对象是否存在。树叶、水波和灯光变化也会影响接缝稳定性，静态建筑测试不能覆盖这些情况。
把验收分成几何 时间和可读性
先用静态结构看几何：近处栏杆、中距离道路边缘和远处屋顶能否自然衔接，画面边缘是否明显拉伸。再让普通行人或场内车辆横穿接缝，检查重复、消失与轮廓跳变，并与原始画面逐段对照。随后检查明暗交界、逆光和环境光变化下的曝光、白平衡与亮度过渡。所有记录都应保留采集方式、源图尺寸和时间，避免只留下"看起来不错"的截图。
最后明确全景的用途。若主要用于了解空间关系，清楚显示当前观察区域和更新时间，比追求一条完全不可见的接缝更重要。若要供算法分析，还需另外验证重投影、缩放和融合是否改变目标外观；显示画面拼得平滑，并不能证明模型的检出率没有下降。
参考资料
-
Microsoft Research 图像对齐与拼接教程。配准、视差、运动与曝光问题
-
OpenCV 高层图像拼接接口说明。拼接流程与处理模块