【论文解读】PanoSwin:为全景理解打造的“全景版“ Swin Transformer

论文名片

项目 内容
论文名​ PanoSwin: A Pano-style Swin Transformer for Panorama Understanding
作者​ Zhixin Ling、Zhen Xing、Xiangdong Zhou、Manliang Cao、Guichun Zhou(复旦大学计算机学院)
发表​ CVPR 2023,pp. 17755--17764;arXiv 2308.14726
一句话贡献​ 把 Swin Transformer 的每个零件按全景几何重写一遍 :改移位窗口(补边界断裂)、加俯仰注意力(消畸变)、改位置编码(用球面距离),并且能在"全景模式"和"普通模式"之间切换​
江湖地位​ 与 PanoFormer 并列为"全景 Transformer 改造"的两条代表路线;最大的特色是双模式 + 两阶段知识迁移,能白嫖 ImageNet 预训练

名字拆解 :Pano (全景)+ Swin(Swin Transformer)= PanoSwin。


一、先搞懂:ERP 全景图到底"病"在哪?

全景图最通用的存法是 ERP(等距柱状投影)------把球面摊成一张"世界地图"。

类比:把地球仪剪开铺平。好处是好存好处理;坏处是两个地方被"剪坏"了。

论文点出 ERP 有两个根本问题:


病 1:边界断裂(Boundary Discontinuity)

① 左右断裂(side discontinuity)

全景图的最左边和最右边是同一条线 (360° 绕回来了),但摊平后被切成了图的两条边。

类比:地球仪上 0° 经线和 360° 经线是同一条;但做成世界地图后,它们跑到了纸的最左和最右------明明挨着,却被隔开了。

② 上下断裂(polar discontinuity)

球面的北极和南极各自是一个点,但摊平后:

  • 北极被拉成了整条上边界;
  • 南极被拉成了整条下边界。

类比:地球仪上北极是一个点;地图上北极被拉成了整条顶边。南极同理。

后果 :窗口注意力(Swin 的核心)在划分窗口时,把本该相邻的区域切到了不同的窗口里,而且永远没机会在同一个窗口内相遇。


病 2:空间畸变(Spatial Distortion)

ERP 把球面摊平后,越靠近两极(天花板、地板),横向拉伸越夸张。

类比:世界地图上格陵兰岛看起来比非洲还大------因为它靠近北极,被拉爆了。

在全景图里:

  • 赤道附近(画面中部):比较正常;
  • 两极附近(天花板、地板):横向拉伸好几倍。

后果 :同一个窗口、同一套卷积/注意力权重,在赤道看到的是"一小片真实世界",在极区看到的是"一大片被压扁的世界"------特征被污染了。


前人的两条路,各有各的代价

路线 代表 代价
把卷积搬到球面​ SphereNet、S2CNN、KTN 计算量巨大,且和平面图像不兼容
专门设计 patch 采样​ Spherical Transformer、PanoFormer​ 采样方式对平面图像不适用 ​ → 没法白嫖 ImageNet 预训练​

PanoSwin 的关键判断(这是它最重要的立论):

前人那些"特制采样"在平面图像上用不了 → 白白浪费了海量的平面图像知识(ImageNet)。

我们要设计一个既能处理全景、又能切换回普通模式的架构,这样就能先把 ImageNet 的知识学进来,再迁移到全景。


普通 Swin 的额外问题
Swin Transformer 靠移位窗口机制平衡了速度和精度,但用在全景图上还有两个问题:

  1. 窗口移位到左右边界就断了,没法环形衔接;
  2. 正方形窗口不适应垂直畸变,两极区域特征失真严重;
  3. 全景标注数据少,没法像普通图片那样大规模预训练,直接训效果差。

核心思路

给普通 Swin 从头到脚做全景定制改造:

  1. 把直线窗口改成环形窗口 ,解决左右边界不连续;
  2. 把固定正方形注意力改成俯仰自适应注意力 ,抵消垂直畸变;
  3. 设计两阶段知识迁移训练 ,先在普通图片上学通用视觉知识,再迁移到全景场景,解决全景数据少的问题。

打个比方:普通 Swin 是普通公路轿车,PanoSwin 就是给它换上了越野轮胎、四驱系统,还先在公路上练好基础驾驶技术,再去越野场景适应地形,既能用通用的驾驶经验,又能适配复杂的全景地形。


二、核心创新 ①:PSW(全景式移位窗口)------ 治"边界断裂"

Swin Transformer 的招牌是 Shifted Window(移位窗口):把窗口错开半个,让相邻窗口能交换信息。

PanoSwin 说:Swin 那套移位不够用,得按全景的几何重做。 ​ 于是提出 PSW(Pano-style Shift Windowing) ,三步走:

第 1 步:水平平移(治左右断裂)

把整张图水平方向平移一段。

效果:原本被切在图最左、最右的两个区域,被挪到了中间,有机会落进同一个窗口。

第 2 步:切成两半 + 右半逆时针转 π(治北极断裂)

这是最巧妙的一步:

  1. 把全景图沿垂直方向切成左右两半;
  2. 右半部分逆时针旋转 π(180°)。

效果:原本在图上"天各一方"的北极两侧,被转到了一起,重新接上了。

第 3 步:垂直平移(治南极断裂)

再沿垂直方向平移一段,把南极两侧也接上。

直观理解

类比:你有一张被剪坏的世界地图------

  • 左右被剪开了 → 把纸左右挪一挪,让两端靠近;
  • 北极被拉成一条线 → 把纸裁开、转个方向,让北极那一圈重新闭合;
  • 南极同理 → 上下再挪一挪。

PSW 的本质 :用几何变换把"被 ERP 剪断的邻接关系"重新拼回同一个窗口里,让窗口注意力能看到它们。


三、核心创新 ②:PA(俯仰注意力)------ 治"空间畸变"

这是论文最有原创性的一招,思路非常聪明。

3.1 核心洞察:让"畸变窗口"去问"未畸变窗口"

同一个场景,从不同角度看,畸变程度不同。

具体做法(三步):

第 1 步:把全景图沿 pitch(俯仰角)旋转 0.5π(90°)

效果:原来在两极(畸变最严重) 的区域,被转到了赤道附近(畸变最小) ------"极区"和"赤道区"交换了位置。

第 2 步:为每个窗口在"旋转图"里找到对应窗口

原图的第 3 号窗口(位于天花板、畸变严重),在旋转后的图里有一个对应的窗口(现在在赤道、几乎不畸变)。

第 3 步:两个窗口之间做交叉注意力(Cross-Attention)

让"畸变窗口"直接去查询"未畸变窗口":"我在没被拉伸的时候,长什么样?"

3.2 一句话概括

论文原话:

"直觉上,俯仰注意力能帮一个窗口'知道'它不畸变时长什么样。"
类比:你被哈哈镜照得变形了,看不出自己原本的样子。这时旁边有个人站在正常镜子 前------你转头看看他,就知道自己真实长什么样了。

3.3 两个工程优点

优点 说明
几乎不增加计算量​ 论文做了复杂度分析:当通道数 C 较大(如 512)时,PA 带来的额外计算可忽略不计​
**即插即用(plug-and-play)**​ PA 是个独立模块,可以插进各种骨干网络​

四、核心创新 ③:全景版位置编码

Transformer 需要位置编码来知道"这个 patch 在哪"。但全景图的"位置"不能用平面坐标衡量。

PanoSwin 做了两套改造:

4.1 绝对位置嵌入:经纬度 + 笛卡尔坐标双管齐下

把每个 patch 的 (u, v)(经度、纬度) ​ 和 球面笛卡尔坐标 (x, y, z)​ 一起,通过几个全连接层编码成位置嵌入。
为什么要两套?因为 ERP 的 (u,v) 在极区会退化(一条纬度线代表的实际周长接近 0),而
笛卡尔坐标是"真"的 3D 位置
,不会因投影而失真。

4.2 相对位置偏置:用"大圆距离"(球面距离)

Swin 的相对位置偏置用的是平面上的格子距离 。但全景图上,两个 patch 的实际远近要用球面上的最短路径衡量。

论文给的公式(大圆距离):

人话:

  • 第一项:纬度差贡献的距离;
  • 第二项:经度差贡献的距离,但要乘上 cos(v) 修正 ------因为纬度越高,同样经度差对应的实际距离越短(这正是畸变的数学根源);
  • 第三项:可学习的偏置。

这个 cos(v) 修正极其关键 ------它把"极区被拉伸"这个几何事实直接编码进了注意力。


五、核心创新 ④:双模式 + 两阶段学习(最能"白嫖"的一招)

这是 PanoSwin 区别于 PanoFormer 的最大特色,也是它最实用的地方。

5.1 双模式设计

同一个 PanoSwin,有两种模式:

模式 用途
**PanoSwinp​(pano 模式)**​ 处理全景图(开启 PSW、PA、全景位置编码)
**PanoSwins​(swin 模式)**​ 处理普通平面图像(退化成标准 Swin)

**怎么切到 swin 模式?**​ 论文给出三步:

  1. 让 PSW 的变换 (取消全景变换);
  2. 关掉绝对位置嵌入;
  3. 把大圆距离偏置里的 αi,j 设为 0。

结果:PanoSwins​ 完全等价于一个标准 Swin Transformer。

5.2 两阶段学习范式

有了双模式,就能这样玩:

复制代码
第 1 阶段:用【普通平面图像】(ImageNet)预训练 PanoSwin_s
           ↓ 学到的"通用视觉知识"(边缘、纹理、形状...)
切换到 PanoSwin_p
           ↓
第 2 阶段:用【全景图】训练 PanoSwin_p,同时加一个 KP 损失

KP(Knowledge Preservation,知识保持)损失是什么?

其中权重

人话:强迫 PanoSwinp​ 的特征,尽量接近 PanoSwins​ 的特征------也就是"别把第 1 阶段学到的平面知识忘掉"。

权重 wi​ 的设置很讲究:畸变越严重的区域(极区),权重越低------因为那里本来就该允许特征"偏离"平面版本。

两阶段具体怎么做
第一阶段:平面预训练(打基础)
  • 模式:切换到平面模式 ,也就是普通的 Swin,和原版完全一样;
  • 数据:用 ImageNet 等大规模普通图像数据集预训练;
  • 目标:学习通用的视觉知识,比如怎么识别边缘、纹理、物体。
第二阶段:全景微调(练专业)
  • 模式:切换到全景模式 ,启用 PSW 环形窗口和 PA 俯仰注意力;
  • 数据:用目标全景数据集(比如布局数据集、检测数据集)微调;
  • 关键:加入知识保留(KP)损失 ------ 让全景模式输出的特征,尽量和平面模式的特征接近,保证把平面上学到的通用知识保留下来,不会从头乱学。

5.3 为什么这一招价值很大?

全景数据稀缺,平面数据海量。

数据 规模
ImageNet(平面) 1400 万张​
全景数据集 几千~几万张

PanoSwin 通过双模式,先把 ImageNet 的海量知识学进来,再迁移到全景 ------这是它相比 PanoFormer"从零设计球面算子、无法用 ImageNet 预训练"的最大优势。

消融证据(SPH-MNIST 分类错误率):

配置 错误率
只用平面阶段 1.76
只用全景阶段 1.18
两阶段 + KP​ 1.15​

两阶段确实更好。不过也要注意:"只用全景阶段"已经不错了 (1.18),说明全景数据本身也够用------两阶段的增益在分类这种简单任务上不算大,但在真实任务(检测)上增益明显(见下文)。

5.4 整体网络架构


PanoSwin 沿用了 Swin 的分层金字塔结构,兼顾多尺度特征和计算效率,所有 Transformer 层都做了全景适配。

XML 复制代码
输入:单张 ERP 全景图(如 512×1024×3)
   │
   ├─① Patch Partition + 分层金字塔(同 Swin)
   │     4×4 切块 → 线性嵌入 → Stage1~4,Patch Merging 逐级下采样
   │     输出多尺度特征:H/4, H/8, H/16, H/32
   │
   ├─② Pano-style Shifted Window Attention(修边界)
   │     · 水平方向循环填充/环形窗口划分(左右相接)
   │     · 极区特殊处理(上下接极点)
   │     · 移位策略适配球面拓扑,把被 ERP 切开的两块拉进同一窗口
   │
   ├─③ Pitch Attention(修畸变)
   │     按 token 的纬度(pitch)分组/加权,
   │     让"严重变形的窗口"与"几乎不变形的窗口"交互校正
   │
   ├─④ 全景适配的位置编码
   │     · 绝对位置:用 token 对应的 3D 笛卡尔方向向量编码
   │     · 相对位置偏置:用球面大圆距离(great-circle distance)查表
   │
   └─⑤ 输出多尺度全景特征 → 挂下游头
         · 全景目标检测(360° 物体 bbox)
         · 全景分类
         · 全景房间布局估计
         
训练策略:两阶段学习
   Stage 1:平面图像(ImageNet/COCO 类)预训练 → 学通用视觉知识
   Stage 2:全景数据微调 → 知识迁移到 ERP 域

双模式设计

  • 平面模式 :禁用 PSW 和 PA,就是普通 Swin,用于预训练;
  • 全景模式 :启用 PSW 和 PA,用于全景任务微调。 一套参数,两种模式,切换方便,最大化复用预训练知识。
下游任务适配

作为通用骨干,接不同的输出头就能做不同任务:

  • 分类:接全局平均池化 + 分类头;
  • 检测:接检测头(比如 YOLO、Faster R-CNN);
  • 布局估计:接布局预测头,输出墙线、墙角概率图。

六、实验结果

论文在三类任务、五个数据集上做了验证。

6.1 全景分类(SPH-MNIST / SPH-CIFAR10)

这是合成 数据集:把 MNIST/CIFAR 的小图贴到球面上,再投影成 ERP------专门用来测"抗畸变能力"。

SPH-MNIST(测试错误率,越小越好):

方法 错误率 参数量
Swin-T(13 层) 4.01 67k
**PanoSwin-T(12 层)**​ 3.08​ 66k
PanoSwin-T92​ 1.21 28M
PanoSwin-T​ 1.18 30M
**PanoSwin-T+(两阶段)**​ 1.15​ 30M

SPH-CIFAR10(准确率,越大越好):

方法 准确率 参数量
Swin-T 72.64 28M
PanoSwin-T92​ 74.50 28M
PanoSwin-T​ 74.84 30M
**PanoSwin-T+**​ 75.01​ 30M

6.2 全景目标检测(360-Indoor / StreetView)------ 真实世界

360-Indoor(mAP@0.5):

方法 mAP@0.5 参数量
ResNet50 + COCO 预训练 33.1 72M
ResNet50 + SphereConv + COCO --- ---
Swin-T​ 24.0 45M
PanoSwin-T92​ 28.0​ 45M
PanoSwin-T​ 28.6 47M
**PanoSwin-T+(两阶段)**​ 29.4​ 47M

PanoSwin 比 Swin-T 高 5.4 个点 (24.0 → 29.4),且参数量几乎一样 (45~47M)。这是很硬的对比:同样的参数,只改了几何设计,就涨了 5 个点。

StreetView(街景全景,更难):

方法 mAP
VGG + SCNN 64.1
Swin-T​ 72.8
PanoSwin-T92​ 75.4
**PanoSwin-T+**​ 75.7​

6.3 最漂亮的一个实验:高纬度鲁棒性

作者把检测结果按纬度拆开,看"从赤道到极区,性能掉了多少":

方法 高纬度区域 mAP@50 下降
PanoSwin-T92​ 1.9(掉得最少)✅
ResNet50 + SphereConv 2.0
Swin-T 3.5
ResNet50 5.8(掉得最多)❌

这组数字直接证明了 PA(俯仰注意力)的价值 :PanoSwin 在高畸变区域的性能衰减只有 Swin 的一半左右。

还有一个更极端的对照:

模型 从正常测试 → 畸变测试,错误率变化
Swin-T13 2.94 → 5.41(暴涨)
PanoSwin-T12​ 2.87 → 3.32(几乎没变)

Swin 遇到畸变几乎崩溃,PanoSwin 稳如泰山。

6.4 全景布局估计(Stanford 2D-3D)

方法 3D IoU ↑ Corner Error ↓
ResNet50 78.12 0.90
Swin-T 78.00 0.94
ResNet50 + IN(ImageNet 预训练) 84.66 0.66
PanoSwin-T92 + IN​ 84.11 0.65​
PanoSwin-T + IN​ 84.21​ 0.65​

注意:布局估计是这篇论文的"附加任务" ,不是主攻方向。它的 84.21 略低于 ResNet50+IN 的 84.66,也不及同期的 LGT-Net(85.76)。

诚实的读法 :PanoSwin 是一个通用骨干网络 ,在检测上优势巨大,但在布局估计上并非 SOTA------它的价值在于"一个骨干,多个任务都能用",而不是在每个任务上都刷第一。

6.5 推理速度

模型 参数量 CPU(秒/张) GPU(秒/张)
Swin-T 28M 1.018 0.015
KTN 30M 0.982 0.010
PanoSwin-T​ 30M​ 1.207 0.042​

代价 :PanoSwin 比 Swin-T 慢约 18%(CPU)/ 2.8 倍(GPU)。这是 PSW 和 PA 带来的开销。

但注意:它比球面卷积方法(KTN 等)还是快得多 ,而且准确率大幅领先。这是典型的"用可接受的计算代价,换显著的精度提升"。


七、消融实验:每个零件值多少?

(SPH-MNIST 错误率 / 360-Indoor mAP)

配置 错误率 mAP 解读
**完整模型(两阶段)**​ 1.15​ 28.6​ 基准
只用平面阶段 1.76 26.8 缺全景数据 → 差
只用全景阶段 1.18 25.9 缺 ImageNet 知识 → 差
**PSW → 普通 W(去掉全景移位)**​ 1.43 28.0 PSW 有用(错误率 1.15→1.43)
**PA → 普通 W(去掉俯仰注意力)**​ 2.01 27.9 PA 贡献最大(1.15→2.01)
去掉 LKP​ 1.18 28.6 KP 损失在检测上影响不大

两条关键结论:

  1. PA(俯仰注意力)贡献最大 ------去掉它,错误率从 1.15 飙到 2.01,几乎翻倍。这印证了"消畸变"是这个任务的核心难点。
  2. PSW 也有明确贡献------去掉它错误率升到 1.43。
  3. 两阶段学习在真实任务(检测)上价值明显 :只全景 25.9 → 两阶段 28.6(+2.7 );只平面 26.8。两者结合才最好。

八、PanoSwin vs PanoFormer:两条路线的正面对比

这两篇是最常被放在一起比较的,我给你一张对照表:

维度 **PanoFormer(ECCV 2022)**​ **PanoSwin(CVPR 2023)**​
核心哲学​ 采样跟着畸变走(算子变形) 窗口跟着边界走,让畸变区和非畸变区对话(调度变形)
治畸变​ STLM:回球面切平面取 3×3 邻域 PA:把图转 90°,让极区窗口去问赤道窗口
治边界断裂​ 未显式处理(靠网络隐式学) PSW:显式三步几何拼接
位置编码​ 用 STLM 反投影的偏移作偏置 大圆距离 + 笛卡尔坐标双路
粒度​ 像素级(更精细) 窗口级(更工程化)
能否用 ImageNet 预训练​ ❌ 特制采样对平面图不适用 ✅ 双模式,可切换,能白嫖​
主攻任务​ 深度估计 通用骨干:检测 / 分类 / 布局
代价​ 自研算子,生态不通用 直接嫁接 Swin 生态,可插拔

一句话:PanoFormer 是"为全景从零设计一个算子";PanoSwin 是"把 Swin 的每个零件按全景几何重写一遍"。


九、优势与局限

✅ 优势

优势 说明
显式解决 ERP 两大病​ PSW 治边界断裂,PA 治畸变------各有一招,对症下药​
PA 极其优雅​ "让畸变窗口去问未畸变窗口"------用一个几何旋转 + 交叉注意力就解决了
几乎不加计算量​ PA 在大通道数下开销可忽略
即插即用​ PA 可插进各种骨干
双模式是神来之笔​ 能切回普通 Swin → 能用 ImageNet 预训练​
通用骨干​ 一个模型干检测、分类、布局三类任务
检测上的优势最硬​ 360-Indoor 比 Swin-T 高 5.4 个点,参数量还一样
高纬度鲁棒性极强​ 性能衰减只有 Swin 的一半
嫁接 Swin 生态​ 不用从零造轮子,工程友好

❌ 局限

局限 说明
比 Swin 慢​ CPU 1.207s vs 1.018s;GPU 0.042s vs 0.015s(慢 2.8 倍)
布局估计非 SOTA​ 84.21 < ResNet50+IN 84.66,也 < LGT-Net 85.76
只针对 ERP​ PSW/PA 是为等距柱状投影设计的,对 cubemap 等其他投影未验证​
依赖重力对齐​ 和同代方法一样,全景图需大致对齐重力方向
合成分类实验偏玩具​ SPH-MNIST/SPH-CIFAR 是人工构造的,说服力弱于真实检测
两阶段训练更复杂​ 要先训一遍平面、再切模式训全景,流程比单阶段长
论文未明确讨论局限​ 原文没有专门的 Limitations 章节

和同类全景 Transformer 的定位对比

|-----------------|---------|------------------|-----------------|-----------------------|
| 方法 | 定位 | 核心结构 | 优势 | 劣势 |
| PanoViT | 专用布局模型 | 全局自注意力 | 全局结构好 | 计算量大、只做布局、两极畸变没解决 |
| PanoSwin | 通用全景骨干 | 分层窗口注意力 + PSW+PA | 效率高、多任务通用、两极精度高 | 布局专项优化略少,纯布局精度略逊于专用模型 |
| Layout Anything | 专用布局大模型 | 全链路全景适配 + 大规模预训练 | 布局精度最高、全场景通用 | 参数量大、速度慢、只做布局 |

适用场景

  • 适合需要一个骨干做多个全景任务的场景,比如同时做布局、检测、分割;
  • 适合标注数据少、需要借助普通图像预训练的场景;
  • 平衡了速度和精度,比纯全局 ViT 快,比 CNN 方法效果好,是工程落地非常实用的通用骨干。

十、一句话总结 + 四条可迁移的思路

PanoSwin 的核心智慧是"重写而非重造":它没有像 PanoFormer 那样从零设计一个球面算子,而是把已被验证成功的 Swin Transformer 拿过来, 按全景的几何特性把每个零件改一遍**------移位窗口改成"能拼回南北极和左右接缝"的 PSW;加一个"让畸变窗口去问未畸变窗口"的俯仰注意力 PA;位置编码改用球面大圆距离。更妙的是它保留了"切回普通 Swin"的能力,从而能白嫖 ImageNet 的海量知识。结果:同样的参数量,在真实全景检测上比 Swin 高 5.4 个点,在高畸变区的鲁棒性更是翻倍。**

四条可以带走的思路:

  1. "改造成熟架构"常常优于"从零设计新算子"。 PanoFormer 自研球面算子很漂亮,但和平面图像生态割裂,用不了 ImageNet 。PanoSwin 选择改造 Swin------既解决了问题,又保住了整个生态和预训练 。做架构创新时,先问:能不能改,而不是必须造?
  2. 遇到"这个视角下看不清",就换一个视角看。 PA 的思路极其朴素却极其有力:畸变窗口看不清自己 → 把图转 90°,去看那个"不畸变的自己" 。当数据在某个表示下失真时,找一个不失真版本作为参照,比硬学失真更聪明。
  3. "兼容性"是一种被低估的设计目标。 PanoSwin 特意保留了"切回普通 Swin"的能力,看似是约束,实则是它最大的优势来源 (能白嫖 ImageNet)。设计系统时留一条"退回标准模式"的路,往往能换来意想不到的资源。
  4. 评价通用骨干,要看它在最硬的任务上、和最硬的基线比。 PanoSwin 在布局估计上并非第一,但在真实世界目标检测 上以相同参数量 赢 Swin 5.4 个点、高纬度衰减只有一半------这才是它真正的价值。通用模型的意义不是在每个任务上刷第一,而是"一套骨架,多任务通用且都好用"。

四大核心贡献

  1. 首个基于 Swin 的通用全景视觉骨干 把 Swin Transformer 成功适配到全景场景,兼顾效率和精度,可用于分类、检测、布局等几乎所有全景任务,是全景视觉领域的通用基础骨干。
  2. PSW 全景移位窗口 提出环形窗口移位机制,优雅解决了全景图左右边界不连续的问题,成为后续全景 Transformer 的标配设计之一。
  3. PA 俯仰注意力 提出随垂直位置自适应的注意力机制,从根源抵消柱状投影的两极畸变,大幅提升了边缘区域的特征质量。
  4. 两阶段知识迁移训练范式 提出平面预训练 + 全景微调的训练框架,解决了全景标注数据不足的痛点,大幅降低了全景模型的训练成本。

📖 名词小抄

名词 大白话
ERP​ 等距柱状投影:球面摊成"世界地图",带来边界断裂 + 畸变
边界断裂​ 左右被切开、南北极被拉成整条边界------本该相邻的区域被隔开​
空间畸变​ 越靠近两极,横向拉伸越夸张(格陵兰岛比非洲还大)
PSW​ Pano-style Shift Windowing:① 水平平移 ② 切两半+右半转 π ③ 垂直平移------把断裂处拼回同一窗口​
**PA(Pitch Attention)**​ 把全景 pitch 旋转 90°,让极区窗口与赤道窗口做交叉注意力------"看看我不畸变时长什么样"
大圆距离​ 球面上两点的最短路径;相对位置偏置用它,并用 cos(v) 修正经度差
笛卡尔坐标位置嵌入​ 用真实的 3D (x,y,z) 补充 (u,v),避免极区退化
双模式​ PanoSwinp​(全景模式)/ PanoSwins​(普通 Swin 模式),可切换
切到 Swin 模式的三步​ 取消全景变换 + 关绝对位置嵌入 + 大圆偏置系数置 0
两阶段学习​ 第 1 阶段用平面图(ImageNet)训 Swin 模式;第 2 阶段切全景模式 + KP 损失
KP loss​ Knowledge Preservation:强迫全景模式特征别偏离平面模式特征(保持学到的通用知识)
**权重 wi​=cos2(vi​)cos2(ui​/2)**​ 畸变越重的区域,KP 约束越松
SPH-MNIST / SPH-CIFAR​ 把小图贴到球面再投影------专门测抗畸变能力的合成数据集
360-Indoor / StreetView​ 真实室内全景 / 真实街景全景检测数据集
高纬度衰减​ 从赤道到极区,mAP 掉多少------PanoSwin 只掉 1.9,Swin 掉 3.5​
相关推荐
kyle~2 小时前
系统设计 --- 基于运动相位的时间域稳像设计
计算机视觉·机器人·传感器
打工仔折腾 AI2 小时前
从零开始大模型微调:基于 PyTorch 与 ChatGLM 的 LoRA 实践指南
人工智能·pytorch·后端·python·深度学习·性能优化·ai agent 实战
高洁013 小时前
具身智能感知系统底层原理
人工智能·python·深度学习·机器学习·transformer
FPGA信号处理4 小时前
【雷达原理与系统】第四节课:雷达波形与脉冲压缩
人工智能·计算机视觉·目标跟踪
在所不辞兄4 小时前
为什么残差连接能够缓解深层神经网络的退化问题,而不仅仅是改善梯度传播?
人工智能·深度学习·神经网络·机器学习
燃烧的枫4 小时前
Windows 下 YOLO26 的 TensorRT C++ 部署
人工智能·pytorch·windows·计算机视觉·tensorrt·cuda·yolo26
点PY5 小时前
OmDet-Turbo: Real-Time Transformer-Based Open-Vocabulary Object Detection论文精读
深度学习·目标检测·transformer
Tiandaren5 小时前
么是agent、为什么要做agent、怎么做agent、怎么工程化
人工智能·python·深度学习·大模型
深度学习lover6 小时前
<数据集>棉花虫害识别<目标检测>
人工智能·深度学习·yolo·目标检测·计算机视觉·棉花虫害识别