论文名片
| 项目 | 内容 |
|---|---|
| 论文名 | PanelNet: Understanding 360 Indoor Environment via Panel Representation |
| 作者 | Haozheng Yu、Lu He、Bing Jian、Weiwei Feng、Shan Liu（腾讯美国 Tencent America） |
| 发表 | CVPR 2023，pp. 878--887；arXiv 2305.09078 |
| 一句话贡献 | 别把全景图切成方块碎片 ，改成切成一条条竖直的"面板"------既保留水平方向的连续性，又让网络通过"3D坐标"自己学会补偿畸变 |
| 江湖地位 | 用一个统一的框架 同时干三件事（深度估计、语义分割、布局估计）；深度估计拿到当时 SOTA（Stanford2D3D 上 MRE 0.0829） |
名字拆解 ：Panel （面板）------把全景图想象成一圈竖着挂的画卷，一幅接一幅。
一、先看清对手：ERP 的两难
1.1 ERP 是什么，病在哪？
全景图最常用的存法是 ERP（等距柱状投影）------把球面摊成"世界地图"。
症状 ：越靠近天顶（zenith）和地底（nadir），横向拉伸越夸张。
类比：世界地图上格陵兰岛看起来比非洲还大------因为它靠近北极，被拉爆了。全景图里天花板、地板附近就是"格陵兰"。
后果 ：为无畸变的普通照片设计的卷积核，在这上面"一把尺子量到底"，学到的特征是被污染的。
1.2 前人的两条路，各有各的代价
| 路线 | 代表 | 问题 |
|---|---|---|
| 硬扛 ERP | 直接在 ERP 上跑 CNN | 畸变没解决，极区（天花板/地板）表现差 |
| **切成透视碎片（tangent images）** | TangentImg、OmniFusion、360MonoDepth | ❌ **碎片之间出现"接缝（seams）"** |
第二条路的毛病，是本文最关键的诊断：
把全景图切成一堆不连续的透视碎片 ，会破坏重力对齐的场景和物体的局部连续性。
1.3 打个比方你就懂了
想象一幅环形的清明上河图（绕一圈看的长卷）：
- 硬扛 ERP：整张图看，但两头被拉变形了；
- 切碎片 ：把长卷剪成 20 张方形明信片 。每张明信片本身不变形了，但剪开的地方断了 ------原本连续的一条街，被切进了两张明信片，而且你剪的位置正好穿过一栋房子。
PanelNet 的解法 ：不剪成明信片，剪成一竖条一竖条的"立轴"。
每一条都是从上到下完整的 （保留了重力方向的结构：墙、门、窗都是竖着的），而且条与条之间是连着的（水平方向连续）。
二、核心洞察：室内场景的两个"本质属性"
论文开头就把这两条摆出来，是整个设计的地基：
属性 1：水平方向是连续无缝的（horizontal continuity）
全景图最左边和最右边是同一条线，360° 绕回来。
所以：不能在水平方向把它切断。
属性 2：重力在室内设计中扮演核心角色（gravity alignment）
人造环境是按重力建的：
- 墙是竖直的；
- 地板、天花板是水平的；
- 门、窗、柜子......全都沿重力方向排列。
所以：竖直方向的结构必须完整保留，不能被切碎。
PanelNet 的"竖条面板"同时满足了这两条：
- 竖条 → 重力方向完整（属性 2）；
- 竖条沿水平方向依次排列、且有重叠 → 水平连续（属性 1）。
三、核心创新 ①：Panel 表示（竖条 + 滑动窗口）
3.1 具体怎么切？
用一个竖直的滑动窗口，沿着水平方向滑过去：
| 参数 | 符号 | 默认 | 含义 |
|---|---|---|---|
| 面板高度（图高） | He | 全高 | 竖条是从顶到底的完整一条 |
| 面板宽度 | I（interval） | 128 | 每条有多宽 |
| 滑动步长 | S（stride） | 32 | 每隔多远切一条 |
| 面板数量 | N | We/S | 一共切出多少条 |
举例：全景图 512×1024，I=128、S=32 → 切出 N = 1024/32 = 32 条，每条 512 高 × 128 宽。
注意 S=32 < I=128 ------相邻面板之间有 96 像素的重叠！
这就是"保持水平连续性"的关键：重叠区让相邻面板共享信息，不会在边界处断裂。
3.2 和"切碎片"的本质区别
| Tangent patches（切碎片） | **Panels（竖条）** | |
|---|---|---|
| 形状 | 方块（既切横又切竖） | **竖条（只切横，不切竖）** |
| 竖直结构 | 被切断 | ✅ **完整保留（重力对齐）** |
| 水平连续性 | 断裂、有 seams | ✅ 重叠滑窗，连续 |
| 边界处理 | 需要额外融合 | 天然重叠 |
类比再升级：
- 切碎片 = 把长卷剪成扑克牌；
- 竖条面板 = 把长卷卷成筒 ，你每次只看筒上"一个扇区"，但这个扇区是从上到下完整的 ，而且相邻扇区有重叠。
四、核心创新 ②：Panel Geometry Embedding（几何嵌入）
这是"不显式消畸变，而让网络自己学会补偿"的关键。
4.1 思路：给每个像素发一张"3D 身份证"
传统做法是数学上把图"掰正"（un-warping），很贵、很复杂。
PanelNet 换了个思路：
不掰正，而是告诉网络"这个像素在真实 3D 空间的哪里"------让网络自己悟出畸变规律。
4.2 每个像素有两个坐标
| 类型 | 符号 | 含义 |
|---|---|---|
| 全局坐标 | (xs,ys,zs) | 这个像素在整个房间的 3D 世界坐标 |
| 局部坐标 | (xs′,ys′) | 这个像素相对于它所在面板的位置 |
最终输入是一个 5 维向量：
4.3 为什么两个都要？
| 坐标 | 告诉网络什么 |
|---|---|
| 全局 3D | "你在房间的哪个位置、离天花板多近"------畸变程度取决于纬度，全局坐标直接暴露了这一点 |
| **局部（面板内）** | "你在这一条里的哪个角落"------帮助网络理解局部结构 |
类比：给每个像素发一张身份证，写清楚"我在北京市海淀区XX路（全局）"+"我在本楼第 3 层第 5 间（局部）"。有了地址，网络就能推断"这里被拉伸了多少"。
4.4 怎么变成特征？
用一个两层 MLP（多层感知机） 把这个 5 维坐标映射成几何特征，然后加到骨干网络第一层的特征上。
4.5 精妙之处：隐式 vs 显式
| 显式消畸变 | **PanelNet（隐式）** | |
|---|---|---|
| 做法 | 数学上把球面展开、重采样 | 只告诉网络 3D 坐标，让它自己学 |
| 代价 | 额外模块、额外计算、可能引入插值误差 | 几乎零成本（一个两层 MLP） |
| 灵活性 | 固定公式 | 网络能学到数据里真实的畸变规律 |
论文原话："不添加任何额外的显式畸变修正模块"。
4.6 消融实验的证据
Table 3（深度估计，越低越好）：
| 配置 | MRE ↓ | MAE ↓ |
|---|---|---|
| Baseline（无几何嵌入） | --- | --- |
| **+ Geo (Global + Local)** | 0.0829 | 0.1520 |
全局 + 局部一起用最好------只用一种都不如两种结合。
五、核心创新 ③：Local2Global Transformer（由局部到全局）
5.1 两种 Block，各管一段
这是把 Swin Transformer 的"窗口思想"改造到 Panel 表示上。
① Window Block（窗口注意力）------ 抓局部
在面板内部再做小窗口划分，窗口内做多头自注意力（W-MSA）。
作用：强化一个面板内部的几何关系------这面墙上哪些像素属于同一面墙、门框的竖边在哪。
类比：小组讨论------一个面板内的人先互相交流，把这一条的细节理清楚。
② Panel Block（面板间注意力）------ 抓全局
把每个面板的特征压缩成一个 1D 向量 ，得到 N 个 token ，然后在这 N 个 token 之间做自注意力（P-MSA）。
作用：捕捉跨面板的长距离上下文------第 3 号面板（客厅东墙）和第 20 号面板（客厅西墙）的关系。
类比：全体大会------32 个面板各派一个代表，代表们互相交流，搞清楚"整个房间是怎么回事"。
5.2 12 层的排布
论文用了 12 个 Transformer Block，按分辨率从低到高：
Low-Res W-Blocks × 2 ← 低分辨率，抓粗结构
↓
Mid-Res W-Blocks × 2 ← 中分辨率
↓
High-Res W-Blocks × 2 ← 高分辨率，抓细节
↓
Panel Blocks × 6 ← 最后 6 层做全局整合设计逻辑 ：先用 Window Block 把每一条内部 的细节做到位，最后用 6 层 Panel Block 把32 条整合 成一个整体房间。这就是名字 "Local2Global " 的由来------先局部、后全局。
5.3 一个很务实的选择：用 ResNet-34 而不是 ViT
论文明确说明：
因为把全景切成带重叠的面板 会大幅增加计算量，所以我们用 ResNet-34 作为骨干，而不是视觉 Transformer。
这是个很清醒的工程判断：面板重叠虽然保了连续性，但算力开销翻了几倍，只能用轻骨干来平衡。
5.4 消融证据
| 配置 | MRE ↓ |
|---|---|
| Baseline | --- |
| + Geo（全局+局部） | 更好 |
| **+ Geo + Transformer（Panel + Window）** | 0.0829 ← 完整模型 |
Window 和 Panel 两种注意力缺一不可------前者管细节，后者管全局。
六、一个框架，三个任务
PanelNet 的另一个亮点：骨干完全共享，只换"头"就能干不同的活。
输入：单张 360° ERP 全景图
│
├─① 预处理：重力/姿态对齐（推断：使竖直方向与重力一致）
│
├─② Panel 表示：ERP → 连续竖直面板 + 每块面板的 3D 几何
│ 面板绕竖轴排成一圈，首尾相接（0°=360°）
│
├─③ 特征提取 + 面板几何嵌入网络
│ 图像特征 ⊕ 面板几何嵌入（局部几何 + 全局几何）
│ → 畸变被"显式条件化"，标准算子即可工作
│
├─④ Local2Global Transformer
│ 面板内局部聚合 → 面板间全局交互（环形）→ 回注
│
└─⑤ 多任务输出（挂不同头）
· 360° 深度估计（Reverse Huber）
· 布局估计（L1 + 法向损失）
· 语义分割（加权交叉熵）| 任务 | 损失 |
|---|---|
| 深度估计 | Reverse Huber（BerHu）损失 |
| 语义分割 | 带类别权重的交叉熵 |
| 布局估计 | horizon depth + room height 的 L1 + 法向损失 + 法向梯度损失 |
注意布局头这套损失，正是 LGT-Net 那套（L1 + 法向 + 法向梯度）------说明 PanelNet 在布局任务上直接借鉴了当时的最佳实践。
七、实验结果
论文在 Stanford2D3D 和 Matterport3D 上评测。
7.1 深度估计（主战场，最强项）
Stanford2D3D 上的 MRE（平均相对误差，越小越好）：
| 方法 | MRE ↓ |
|---|---|
| HoHoNet | 0.1014 |
| OmniFusion | 0.1031 |
| PanelNet | 0.0829 |
完整消融表（Table 3，包含 MAE）：
| 配置 | MRE ↓ | MAE ↓ |
|---|---|---|
| **完整（Geo G+L + Transformer P+W）** | 0.0829 | 0.1520 |
Matterport3D 上同样是 SOTA。
视觉上的改进 ：论文特别强调------避免了基于 patch 方法常见的"鬼影（ghosting）"伪影。
"鬼影"是什么？切成碎片再拼回去时，碎片边界处深度值对不上 → 出现虚影/重影。PanelNet 因为有重叠 + 全局整合，拼接是平滑的。
7.2 语义分割
| 方法 | mIoU ↑ | mAcc ↑ |
|---|---|---|
| HoHoNet | 43.3 | --- |
| PanelNet | 46.3 | --- |
提升 6.9% mIoU、8.9% mAcc。
论文说它在小物体识别 和结构元素（墙、地板）的平滑边界上表现尤其好。
7.3 布局估计
用 PanoContext + Stanford2D3D 联合训练：
| 数据集 | 3D IoU ↑ |
|---|---|
| PanoContext | 84.52 |
| Stanford 2D-3D | 85.91 |
对比一下同期：HorizonNet 82.17（PanoContext）、LGT-Net 85.16（PanoContext）。PanelNet 的 84.52 是有竞争力的，但不是 SOTA。
论文自己也很诚实：布局估计"与专用模型相比略有差距"，原因是------
上采样（upsampling）和通道压缩过程中丢失了细粒度信息。
这是个很真实的自我诊断：一个为"深度估计"优化到极致的特征，未必最适合需要精确边界的布局任务。
7.4 训练开销
| 项目 | 值 |
|---|---|
| GPU 显存（训练） | 10659 MB（约 10.6 GB） |
| 骨干 | ResNet-34 |
| Panel 配置 | I=128，S=32 |
八、消融实验的关键发现：Panel 间隔怎么选？
论文专门研究了 interval（面板宽度） 和 **stride（步长）** 的影响，结论很有意思：
发现 1：不是"面板越宽越好"
直觉上，面板越宽 → 视野（FoV）越大 → 看到更多上下文 → 应该更好。
但实验结果相反：
继续增大 interval 会对性能产生负面影响。
**为什么？** 论文给出的解释非常到位：
更大的面板 → 计算复杂度更高 → 迫使增大 stride 来控制开销 → 重叠变少 → 一致性损失 把"更大视野带来的收益"抵消掉了。
这是一个典型的"按下葫芦浮起瓢"：
面板变宽 ──→ 视野变大（+）
└─→ 算力暴涨 ──→ 步长变大 ──→ 重叠变少（−）
↓
一致性被破坏，收益被抹平最终选了 I=128,S=32（重叠率 75%）------这是个精心权衡的甜点。
发现 2：三个组件都不可或缺
| 组件 | 贡献 |
|---|---|
| Panel 表示本身 | 即使纯 CNN 架构 （不加 Transformer），用 panel 表示也超过了原版 OmniFusion |
| **几何嵌入（全局+局部）** | 进一步降低 MRE |
| Local2Global Transformer | 再降一截，达到 0.0829 |
第一条特别值得注意：panel 表示本身就是个独立有效的改进 ------不依赖 Transformer 也能涨点。这说明"竖条 + 重叠"这个表示设计抓到了本质。
九、优势与局限
✅ 优势
| 优势 | 说明 |
|---|---|
| **同时解决"畸变"和"连续性"** | 竖条保重力结构，重叠保水平连续------前人只能二选一 |
| 隐式消畸变 | 只加 3D 坐标 + 两层 MLP，不需要复杂的 un-warping |
| 统一框架 | 一个骨干干深度/分割/布局三件事 |
| 深度估计 SOTA | Stanford2D3D MRE 0.0829，大幅领先 HoHoNet(0.1014) |
| 无鬼影 | 重叠 + 全局整合，避免了 patch 方法的拼接伪影 |
| 分割提升明显 | mIoU +6.9% |
| Panel 表示可独立生效 | 纯 CNN 也能超过 OmniFusion |
| 工程务实 | 用 ResNet-34 而非 ViT，控制算力 |
❌ 局限
| 局限 | 说明 |
|---|---|
| 上采样丢失细粒度信息 | 直接影响布局估计，使其不如专用模型 |
| 面板重叠导致算力高 | 训练显存 10.6 GB；为此只能用轻骨干（ResNet-34） |
| interval 不能无限增大 | 增大反而降性能（stride 被迫变大，重叠减少） |
| 布局估计非 SOTA | 84.52 / 85.91，略低于 LGT-Net 等专用方法 |
| 只在室内验证 | 论文自己也说，未来要扩展到室外环境 |
| 骨干较老 | ResNet-34；作者承认未来应探索更高效的 ViT 骨干 |
| 超参数需调 | I、S 都要手调，且相互制约 |
十、在"全景表示"谱系中的位置
把各种"怎么表示全景"的方案排成一队，PanelNet 的位置就很清楚了：
| 表示 | 代表 | 怎么对付畸变 | 怎么保连续性 | 代价 |
|---|---|---|---|---|
| 直接 ERP | 早期 CNN | ❌ 不处理 | ✅ 天然连续 | 极区差 |
| 1D 压缩 | HorizonNet、HoHoNet | 沿重力压扁 | 1D 序列天然连续 | 垂直细节丢失 |
| 切透视碎片 | TangentImg、OmniFusion | ✅ 无畸变 | ❌ 有接缝 | 拼接伪影 |
| 球面/切线采样 | PanoFormer | ✅ 球面无畸变 | 靠网络隐式学 | 自研算子，不通用 |
| Cubemap | DMH-Net | ✅ 无畸变 | 6 面有重叠 | 冗余计算 |
| **竖条面板（本篇）** | PanelNet | **隐式（3D坐标）** | ✅ 重叠滑窗 | 算力高 |
PanelNet 的独特卖点 ：它找到了"切块消畸变 "和"保持连续 "之间的第三条路------只在水平方向切，且切得有重叠。
十一、一句话总结 + 四条可迁移的思路
PanelNet 抓住了一个被忽视的矛盾：想消除全景畸变，就得把图切开；但一切开，就破坏了水平方向的连续性。它的解法极其朴素------不切成方块，改成切成 一条条竖直的面板**：竖直方向完整（保住墙、门这些重力对齐的结构），水平方向重叠滑动（保住 360° 连续）。再给每个像素发一张"3D 身份证"（全局坐标 + 面板内局部坐标），让网络自己学会补偿畸变，而不是用数学公式硬掰。最后用 Window Block 管面板内细节、Panel Block 管面板间全局。结果：深度估计拿下 SOTA（MRE 0.0829），分割提升 6.9%，布局也有竞争力。**
四条可以带走的思路：
- 切分数据时，先想清楚"哪个方向不能切"。 Tangent patches 又切横又切竖，结果把"重力对齐"这个室内场景的核心结构切碎了。PanelNet 问对了问题："哪个方向的信息最宝贵？"------答案是竖直方向，那就只切水平。 切分的方向选择，比切分的粒度更重要。
- "告诉模型真相"有时比"替模型修正"更划算。 前人绞尽脑汁做 un-warping（数学掰正）；PanelNet 只是把 3D 坐标喂进去，让网络自己悟。成本几乎为零，效果还更好。 这印证了一条通用经验：能用"提供信息"解决的，就别用"强行修正"。
- 重叠不是浪费，是保险。 相邻面板重叠 75%（128 宽、32 步长），看起来是算力浪费，但正是这 75% 换来了无接缝、无鬼影 。在需要全局一致性的任务里，适度的冗余是对"边界断裂"最有效的保险。
- 警惕"改进一个参数，引发连锁反应"。 论文发现"面板越宽反而越差"------因为宽度↑ → 算力↑ → 被迫增大步长 → 重叠↓ → 一致性被破坏。系统工程里很少有线性的"越大越好" ，调一个参数前，先想清楚它会连带影响哪些其他设置。
核心贡献
- **提出面板表示这一全新的全景视觉表示范式：**打破了 ERP 和立方体贴图的二元选择，兼顾了无畸变、低接缝、高灵活性，为高精度全景几何任务提供了更优的图像表示方案。
- 设计了完整的 PanelNet 通用网络架构： 实现了面板特征提取、相邻交互、全景融合的全流程，一套骨干支持布局、分割、检测三大任务，且都达到了 SOTA 精度。
- 系统验证了面板表示的通用价值： 在多个数据集、多个任务上都证明了面板表示优于传统的 ERP 和立方体贴图，为后续所有全景视觉任务提供了新的表示选择。
📖 名词小抄
| 名词 | 大白话 |
|---|---|
| ERP | 等距柱状投影：球面摊成世界地图，两极严重拉伸 |
| **Tangent image（切向图）** | 把球面切成一块块小透视碎片------无畸变但有接缝 |
| **Panel（面板）** | 竖直的条带：高度全取，宽度 I，沿水平方向滑动切出 |
| Interval I | 面板宽度（默认 128） |
| Stride S | 滑动步长（默认 32 ），S<I 才有重叠 |
| 重叠率 | 1−S/I=75%------连续性的保障 |
| 水平连续性 | 全景左右绕回、结构连通------不能被切断 |
| 重力对齐 | 墙竖直、地板天花板水平------竖直方向必须完整保留 |
| 全局 3D 坐标 (xs,ys,zs) | 该像素在整个房间的真实 3D 位置 |
| 局部坐标 (xs′,ys′) | 该像素相对于所在面板的位置 |
| Geometry Embedding | 两层 MLP 把上述 5 维坐标变成特征，加到骨干第一层 |
| 隐式消畸变 | 不掰正图像，只告知 3D 坐标，让网络自己学 |
| **Window Block（W-MSA）** | 面板内部做窗口注意力 → 抓局部 |
| **Panel Block（P-MSA）** | 每个面板压缩成 1 个 token，面板之间做注意力 → 抓全局 |
| Local2Global | 先 6 层 Window（低/中/高分辨率），再 6 层 Panel |
| ResNet-34 骨干 | 为控制重叠带来的算力，刻意选的轻骨干 |
| BerHu / Reverse Huber | 深度估计经典损失 |
| **Ghosting（鬼影）** | 碎片拼接处深度对不上产生的虚影 |
| MRE | 平均相对误差（深度指标，越小越好） |
| mIoU / mAcc | 分割的平均交并比 / 平均准确率 |