论文名片
| 项目 | 内容 |
|---|---|
| 论文名 | PanoRoom: From the Sphere to the 3D Layout |
| arXiv | 1808.09879（2018-08-29） |
| 发表 | 3DRMS'18 workshop @ ECCV 2018 |
| 一句话贡献 | 一个基于 ResNet-50 的全卷积网络（FCN），直接在等距柱状（ERP）全景图上 预测"边图 + 角点图"，再用 Manhattan 几何推理 + 贪心 RANSAC 把这两张概率图变成 3D 房间 |
| 核心成绩 | 在 SUN360（PanoContext）上 3DIoU 76.82% 、CE 0.79 、PESS 2.59 、PECS 3.13 ，全面超过 PanoContext、LayoutNet 与作者自己的前作；推理 约 0.7 秒/张 |
名字拆解 ：Pano rama（全景）+ Room = PanoRoom。副标题 "From the Sphere to the 3D Layout" 点明了它做的事：从球面图像 → 3D 房间布局。
一、背景：2018 年，全景布局估计还在"婴儿期"
1.1 当时的三个"前辈"
论文引言梳理了当时仅有的几条路线：
| 方法 | 做法 | 短板（论文指出） |
|---|---|---|
| **PanoContext 1** | 第一个把透视图像的方法扩展到全景；恢复一个 **3D box（4 面墙）** + 物体包围盒 | **强假设"房间就是个盒子"** |
| F-L C. et al. 2（作者自己的前作） | 先提取消失点做竖直对齐 ，再把全景切成 60 张重叠的窄视野透视图，逐张过 CNN 提边图，再拼回全景，最后做边剪枝 + 角点提取 + 分类 | 流程复杂、慢 |
| **LayoutNet 3** | 端到端 CNN，用全景 + **消失线（vanishing lines）**训练，得到边图和角点图 | 建两个输出分支做多任务 → 参数多、耗时长 |
1.2 论文要解决的四个问题
| 问题 | PanoRoom 的解法 |
|---|---|
| ① 房间被假设成"盒子" | 不再假设 box-type（4 面墙），能输出非长方体房间 |
| ② 前作要切成 60 张透视图，太绕 | 直接在 ERP 全景图上跑 FCN |
| ③ 双分支 decoder 参数多、慢 | 单分支 decoder，输出两个通道（边 + 角点） |
| ④ 几何推理慢 | 用贪心 RANSAC 从概率图里挑最优布局 |
1.3 一个关键的时代背景
这是 2018 年 8 月 。此时 HorizonNet（2019）、HoHoNet（2021）、LGT-Net（2022）都还没出现。所以用今天的眼光看 PanoRoom 的指标（3DIoU 76.82）不算高------但在当时它是 SOTA，而且是"全景布局深度学习化"的奠基工作之一。
1.4 摘要原文拆解
摘要只有四句话，逐句翻译并说明它透露了什么：
|--------------------------------------------------------------------------------------------------------------------------|-------------------------------|----------------------------------------------------------------------------|
| 原文（要点） | 中文 | 透露的信息 |
| "We propose a novel FCN able to work with omnidirectional images" | 我们提出一个能处理全向图像的新型全卷积网络（FCN） | 方法是深度学习 （FCN = Fully Convolutional Network，全卷积网络，逐像素输出）；输入是全向/全景图像 |
| "that outputs accurate probability maps representing the main structure of indoor scenes" | 输出表征室内场景主要结构的精确概率图 | 监督目标是概率图 （每个像素属于某类结构的可信度），不是直接回归 3D 坐标 |
| "which is able to generalize on different data" | 能在不同数据上泛化 | 作者把跨数据集泛化 当作卖点之一 |
| "Our approach handles occlusions and recovers complex shaped rooms more faithful to the actual shape of the real scenes" | 能处理遮挡，并恢复出比简单盒形更贴近真实场景形状的复杂房间 | 两个针对性卖点：抗遮挡 、非长方体（复杂形状）房间 |
| "We outperform the state of the art not only in accuracy of the 3D models but also in speed" | 在 3D 模型精度和速度上都优于最先进方法 | 声称精度 + 速度双优 （但具体数字未在摘要中给出） |
二、核心思路：两阶段------"深度学习感知" + "几何推理求解"
输入：一张 ERP 全景图（128×256）
↓
【阶段 1：深度学习结构感知（FCN）】
ResNet-50 encoder + 单分支 decoder
→ 输出两张概率图（64×128）：
├─ Edge Map（边图）：哪些像素是房间的结构边
└─ Corner Map（角点图）：哪些像素是墙角
↓
【阶段 2：从球面到 3D 的几何推理】
① 提取结构直线（每条线有一个"边图概率"）
② 直线相交 → 候选角点（用角点图打分）
③ 在 Manhattan World 假设下生成布局假设
④ 选"边概率 + 角点概率"加权最大的那个假设
↓
输出：3D 房间布局（不再假设是盒子）类比：
- 阶段 1 像一位速写画家------看一眼房间，快速画出"哪些地方是边、哪些地方是角"（用概率表示把握度）；
- 阶段 2 像一位建筑制图员------拿这张速写，用几何规矩（Manhattan：三个互相正交的主方向）把草图规整成一张精确的施工图。
三、技术拆解 ①：网络架构
3.1 编码器：ResNet-50（ImageNet 预训练）
论文明确说明为什么选 ResNet-50 而不是当时主流的 VGG16：
大多数已有方法用 VGG16 做 encoder；有方法用 ResNet-101 。本文选 ResNet-50 ，在 ImageNet 上预训练 ------因为 ImageNet 学到的通用低层特征 能让网络收敛更快。
残差网络的优势（论文原话）：
残差网络允许我们在不增加参数量的前提下增加深度。
这带来一个关键数字：
| 项目 | 数值 |
|---|---|
| ResNet-50 的感受野 | 483 × 483 |
| 网络输入分辨率 | 128 × 256 |
注意这个对比 ：感受野（483×483）远大于 输入图（128×256）。这意味着网络里每个输出像素都能"看到"整张全景图------对需要理解房间整体结构的任务至关重要。
3.2 输入与输出分辨率
| 分辨率 | |
|---|---|
| 输入全景图 | 128 × 256 |
| **输出（边图 + 角点图）** | 64 × 128（两个通道） |
对比一下：后来的方法（LGT-Net、HorizonNet 等）普遍用 512×1024 。PanoRoom 的输入只有它的 1/16 像素量------这是它能做到 0.7 秒的重要原因之一。
3.3 Decoder：单分支双通道（本文的架构主张）
论文明确批评了 LayoutNet 的做法：
近期工作 7, 3 建两个输出分支 做多任务学习 → 计算时间更多、参数更多。
PanoRoom 的做法：
我们提出唯一一个分支 ，输出有两个通道 ------corner 和 edge 图------这有助于相互增强两张图的质量。
类比：LayoutNet 是请两个画家，一个专门画边、一个专门画角点（两套画具、两份工资）；PanoRoom 是请一个画家，给他一支双头笔 ------一头画边、一头画角点，而且画边时想到的信息能直接帮助画角点（互相增强）。
3.4 Decoder 内部的两个技巧
技巧 1：Skip-connections（跳跃连接）
把 encoder 里的特征**拼接（concatenate）**到 decoder 对应层的"上卷积"特征上。
作用：把 encoder 早期丢失的空间细节找回来（边/角点定位需要精细位置）。
技巧 2：Preliminary predictions（多分辨率初步预测再反馈）
论文原话：
我们在不同分辨率上做初步预测 ，把它们也拼接起来反馈回网络。
类比：画家先画一张小尺寸草稿 ，看看整体对不对；再画中等尺寸 ，检查细节；最后画正式尺寸 ------而且每一步的草稿都摊在旁边参考。由粗到精，层层纠偏。
四、技术拆解 ②：Ground Truth 怎么造？
4.1 两张概率图
论文原话：
每张全景图的 GT 由两张概率图 组成：一张表示房间的边（edges） ，另一张编码角点位置（corners） 。每个像素若包含结构信息则为 1 ，若是背景则为 0。
所以这是一个逐像素的二分类任务：结构像素 vs 背景。
4.2 关键预处理：线加粗 + 高斯模糊
论文原话点出了必要性：
由于像素的自然分布极不平衡（例如 95% 是背景） ，我们采用线加粗（line thickening）和高斯模糊（Gaussian blur），让模型训练更容易收敛。
**为什么要加粗 + 模糊？** 两个原因：
| 原因 | 解释 |
|---|---|
| ① 边太细 | 真实的墙-天花板交界线只有 1~2 像素宽。直接学这种"针尖"目标，网络极难收敛 |
| ② 正负样本极度不平衡 | 95% 的像素是背景。加粗 + 模糊后，正样本（结构像素）变多，监督信号变强 |
类比：教小孩描红。如果线条细如发丝，他一笔就描歪了；把线条描粗一点、边缘弄得柔和一点，他才能顺利沿着线走。
论文还特意强调：
相似的方法通常需要把 GT 分成不同的类别------而本文不需要（只需两类：结构 / 背景）。
4.3 一个非常聪明的训练策略：强制每批含"非盒子"样本
论文的动机：绝大多数训练图都被标注成 4 面墙的盒子房间，复杂房型样本极少。
解法（论文原话）：
我们选择 batch size = 16 ，并且强制每个 batch 至少包含一张我们自己手工标注的（非盒子型）全景图。这有利于学习更复杂的房间，尽管这类样本很少。
类比：一个班 95% 的学生都是右撇子。你规定每个学习小组必须至少有一个左撇子------这样教出来的方法才不会只会应付右撇子。
这是本文"能输出非长方体房间"的关键------从数据层面强行打破"盒子房"的偏置。
五、技术拆解 ③：损失函数
5.1 主损失：带权重的 Sigmoid 交叉熵
由于 95% 是背景，普通交叉熵会让网络直接猜"全是背景"也能拿到 95% 准确率。所以论文引入 ponder factors（权重因子）λ₁ 和 λ₀：
其中对每个类别 c：
| 符号 | 含义 |
|---|---|
| yi | GT（1 = 结构，0 = 背景） |
 |
预测值 |
| S(⋅) | Sigmoid 函数 |
| N | 总像素数 |
| Nc | 类别 c 的像素数 |
权重的效果（λc = N / Nc）：
- 结构像素（正类）少 → N1 小 → λ1 = N / N1 很大 → 漏掉一个正样本罚得重；
- 背景像素多 → λ0 小 → 猜对背景的"廉价得分"被压低。
类比：考试里 95 道简单题、5 道难题。
- 普通评分：全蒙简单题就能拿 95 分 → 学生不做难题；
- 加权后：难题每题 19 分（λ1=100/5），简单题每题约 1 分 → 学生必须做难题。
总损失是逐像素损失的均值。
5.2 辅助损失：Perceptual Loss（感知损失）
论文还借鉴 12 加了一个感知损失：
做法（论文原话）：
我们使用一个与主网络结构相同的自编码器（auto-encoder） ，训练这个自编码器去编码 GT。
直觉：不只看"每个像素对不对"，还看"整张图在高层语义上像不像 GT"。这能抑制孤立噪点、让边图更连贯。
类比：批改作文时，不光逐字挑错字（像素级），还把文章交给一位老师整体打分（感知级）------避免"每个字都对但读起来不通顺"。
六、技术拆解 ④：从 2D 概率图到 3D 布局（"From the Sphere to the 3D Layout"）
这是论文标题所指的核心步骤，也是它区别于纯端到端方法的地方。
6.1 Manhattan World 假设
论文原话：
我们利用 FCN 的输出，在 Manhattan World 假设 下对深度学习线索做优化 ，从而生成几何一致的房间布局------该假设认为场景中存在三个互相正交的主方向。
注意一个重要区分：
| 假设 | 是否采用 |
|---|---|
| "房间是一个盒子（4 面墙）" | ❌ 不再假设 |
| "Manhattan World（三个正交主方向）" | ✅ 仍然采用 |
所以 PanoRoom 能输出 L 形、多墙 的非长方体房间（只要墙沿三个正交方向），但不能处理斜墙（那需要 Atlanta World，即后来的 AtlantaNet）。
6.2 四步几何推理
论文用的是自己前作 2 的 RANSAC 方法（贪心版本，所以快）：
第 1 步：提取结构直线
用 RANSAC 从边图里提取结构直线。
第 2 步：给每条直线打分
每条提取出的直线，其概率 = 它在边图上所占像素的概率之和。
类比：一条候选线穿过 100 个像素，其中 80 个像素网络认为是"边"（概率高）→ 这条线得分高。线越长、越贴合高概率像素，得分越高。
第 3 步：直线相交 → 候选角点
我们把结构直线相交 ，得到候选角点，并用角点图给它们打分。
类比：两条墙线交叉的地方，理论上就是墙角------但是不是真的墙角，去角点图上查一下"网络在这里标了角点吗"。
第 4 步：挑选最优布局假设
| 符号 | 含义 |
|---|---|
| h | 一个候选布局假设（由若干条边  和若干角点  组成） |
| we、wc | 边和角点的权重 |
 |
这个假设里所有边的边图概率之和 |
 |
这个假设里所有角点的角点图概率之和 |
一句话：在所有可能的 Manhattan 布局里，挑那个"边图 + 角点图总分最高"的。
类比：多位建筑师各画一版户型图。评选规则是------每一笔线都要在"边草图"上有依据，每一个角都要在"角点草图"上有依据，两项加权总分最高的那版获胜。
6.3 为什么这一步比"直接回归 3D"更好？
因为它把深度学习和几何分工了：
| 谁负责 | 任务 | 优势 |
|---|---|---|
| FCN | 从图像里找"哪里可能是边/角"（含遮挡处也能猜） | 数据驱动，抗遮挡 |
| 几何推理 | 用 Manhattan 约束把概率图规整成一致的 3D 房间 | 输出天然几何一致，不会歪七扭八 |
这正是"深度学习感知 + 几何求解"的经典组合。
七、训练与实现细节
| 项目 | 值（论文原文） |
|---|---|
| 训练数据 | 只用 SUN360 数据集训练（所有实验） |
| Batch size | 16 ，且强制每批至少 1 张手工标注的非盒子房 |
| Encoder | ResNet-50（ImageNet 预训练） |
| 输入分辨率 | 128 × 256 |
| 输出分辨率 | 64 × 128（2 通道） |
| 感受野 | 483 × 483 |
| 推理耗时 | 约 0.7 秒 / 张 |
关于速度（论文原话）：
我们不仅在 3D 模型精度上超越 SOTA，在速度上也超越。
架构部分也说：单分支 decoder"比 SOTA 需要更少的参数和计算时间，同时精度更高"。
（外部佐证，非本文数据：后来的 Single-Shot Cuboids 论文评述------"LayoutNet 在 CPU 上推断和优化布局需要几秒，而 PanoRoom 快得多，因为它用了贪心 RANSAC"。此句来自后续文献，非 PanoRoom 原文。）
八、实验结果
8.1 评测指标（先解释清楚）
Table 2 的四个指标：
| 指标 | 含义 | 方向 |
|---|---|---|
| 3DIoU | 预测 3D 布局与 GT 的体积交并比 | 越大越好 |
| **CE（Corner Error）** | 预测角点与 GT 角点的平均欧氏距离（归一化） | 越小越好 |
| PESS | Pixel Error with Simple Segmentation ------简单分割（3 类：天花板 / 地板 / 墙，LayoutNet 的定义） | 越小越好 |
| PECS | Pixel Error with Complete Segmentation ------完整分割 （天花板 / 地板 / 墙1 / ... / 墙n，即把每面墙分开算，作者前作 2 的定义） | 越小越好 |
PECS 比 PESS 难得多 ：PESS 只分"这是墙吗"，PECS 要分"这是第几面墙"。所以同一方法的 PECS 数值会显著高于 PESS（例如 PanoContext：PESS 4.55 但 PECS 10.34）。
8.2 Table 2：3D 布局性能基准（只在 SUN360 上训练）
| 数据集 | 方法 | **3DIoU(%)** | **CE(%)** | **PESS(%)** | **PECS(%)** |
|---|---|---|---|---|---|
| SUN360 | PanoContext 1 | 67.22 | 1.60 | 4.55 | 10.34 |
| F-L C. et al. 2 | --- | --- | --- | 7.26 | |
| **LayoutNet 3** | 74.48 | 1.06 | 3.34 | --- | |
| **Ours（PanoRoom）** | 76.82 | 0.79 | 2.59 | 3.13 | |
| Stanford2D-3D | F-L C. et al. 2 | --- | --- | --- | 12.1 |
| **Ours（PanoRoom）** | 70.64 | 1.15 | 3.95 | 4.98 |
（"---" 表示该方法在原文表中未报告该指标）
8.3 四条关键读法
① 在 SUN360 上全面超越所有对手。
- 3DIoU ：76.82 > LayoutNet 74.48 > PanoContext 67.22（比 LayoutNet +2.34）
- CE ：0.79 > LayoutNet 1.06 > PanoContext 1.60（误差降低约 25%）
- PESS：2.59 > LayoutNet 3.34 > PanoContext 4.55
- PECS ：3.13，不到前作 2 的 7.26 的一半，更是远低于 PanoContext 的 10.34
② PECS 上的优势最惊人（3.13 vs 7.26）。
PECS 是"把每面墙分开"的严格指标。PanoRoom 把像素误差从 7.26 砍到 3.13------改善超过 57% 。这直接证明了它"不再假设盒子房、能正确区分每一面墙"的主张。
③ Stanford2D-3D 是纯跨数据集泛化（零样本）。
论文原话："所有实验只用 SUN360 数据集训练......然而在 Stanford 2D-3D 数据集上的结果也很有竞争力。"
意思是：模型从未见过 Stanford2D-3D 的任何一张训练图 ，直接拿来测，得到 3DIoU 70.64、PECS 4.98------而前作 2 在同一设置下 PECS 是 12.1。
PanoRoom 的 PECS（4.98）不到前作（12.1）的一半 。这印证了摘要里那句 "able to generalize on different data（能泛化到不同数据）"。
④ 与自己的前作 2 相比：方法变简单了，结果反而更好。
前作要切成 60 张透视图 逐张处理再拼回；PanoRoom 直接在 ERP 上跑一个 FCN 。前作 PECS 7.26（SUN360）/ 12.1（Stanford）；PanoRoom 3.13 / 4.98 。更简单 + 更快 + 更准------这是本文最漂亮的卖点。
8.4 Table 1：FCN 输出图的像素级质量
| 数据集 | Precision | Recall | F1 Score | Accuracy |
|---|---|---|---|---|
| SUN360 | 0.8338 | 0.8564 | 0.8449 | 0.9615 |
| Stanford2D-3D | 0.6309 | 0.5904 | 0.6113 | 0.9160 |
两条读法：
- Accuracy 看着很高（0.9615）但意义有限 ------因为 95% 的像素是背景，全猜背景也有约 0.95。真正有意义的是 Precision / Recall / F1（把"结构像素"当正类）。
- 跨数据集时 F1 从 0.8449 掉到 0.6113 ------说明存在明显的域差距（SUN360 是卧室/客厅，Stanford2D-3D 是办公室/教室/走廊）。但即便如此，3D 布局结果仍"很有竞争力"。
8.5 定性效果（论文 Fig.3）
论文展示了预测边图的对比（RGB → GT → 2 → LayoutNet → PanoRoom）：
我们的 FCN 超越了 SOTA 的最新工作 。我们预测出更干净的边界 ，并且即使室内场景不是简单的 4 面墙房间，也能恢复出忠实的边图。
论文还强调它能处理遮挡（handles occlusions） 、恢复复杂形状房间------这是摘要里的核心主张。
九、优势与局限
✅ 优势
| 优势 | 说明 |
|---|---|
| 打破"盒子房"假设 | 不再假设 4 面墙，能输出非长方体（L 形等）Manhattan 布局 |
| 直接在 ERP 上工作 | 比前作"切 60 张透视图再拼"简单得多、快得多 |
| 单分支双通道 decoder | 比 LayoutNet 的双分支参数更少、计算更快，且两张图互相增强 |
| ResNet-50 + ImageNet 预训练 | 收敛更快；感受野 483×483 覆盖整图 |
| **低分辨率输入（128×256）** | 仅 0.7 秒/张 |
| 加权交叉熵 + 感知损失 | 针对性解决 95% 背景的极端不平衡 |
| 强制每批含非盒子样本 | 从数据层面打破盒子偏置 |
| 跨数据集泛化强 | 只训 SUN360，Stanford 上 PECS 4.98 vs 前作 12.1 |
| PECS 改善最大 | 7.26 → 3.13（SUN360），改善 >57% |
❌ 局限
| 局限 | 说明 |
|---|---|
| 仍依赖 Manhattan World 假设 | 三个正交主方向；斜墙、圆弧墙搞不定（需 Atlanta World） |
| 角点/边图仍需几何后处理 | 不是纯端到端------RANSAC + 假设打分是推理时的优化步骤 |
| **低分辨率输入（128×256）** | 细节受限；后来的方法普遍用 512×1024 |
| 跨数据集仍有明显掉点 | F1 从 0.8449 掉到 0.6113；3DIoU 76.82 → 70.64 |
| 对比的基线较少 | 只比了 PanoContext 1、F-L C. et al. 2、LayoutNet 3（当时也没别的方法） |
| Table 2 有空缺 cell | LayoutNet 未报 PECS；F-L C. et al. 2 未报 3DIoU/CE/PESS------非完全公平对照 |
| 手工标注"非盒子"样本 | 需要额外人工标注，且论文承认这类样本"很少" |
十、在方法谱系中的位置
| 世代 | 代表 | 关键特征 |
|---|---|---|
| 第 0 代 | PanoContext (2014) | 假设 3D box（4 面墙） |
| 第 1 代 | F-L C. et al. (2018)（本文前作） | 切 60 张透视图 + 几何推理 |
| 第 1.5 代 | LayoutNet (2018) | 端到端 CNN 双分支 + 消失线 |
| **第 2 代（本篇）** | **PanoRoom (2018)** | 直接在 ERP 上 FCN + 单分支双通道 + 贪心 RANSAC 几何推理 |
| 第 3 代 | DuLa-Net (2019)、HorizonNet (2019) | 天花板视图 / 1D 序列表示 |
| 第 4 代 | LED²-Net、LGT-Net、DOP-Net | 深度监督 / 平面解耦 |
| 第 5 代 | PanoFormer、PanoSwin、Seg2Reg | 球面 Transformer / 可微渲染 |
PanoRoom 的历史价值在于三点：
- 它和 LayoutNet 一起，是最早直接在球面全景图上训练深度学习模型的工作之一；
- 它示范了"深度学习出概率图 + 几何推理出 3D"这个范式------后来很多方法（如多标签图割那篇）仍在沿用；
- 它第一个明确打破"房间必须是盒子"的假设，为后来的非长方体（L 形、T 形）布局估计开了口子。
十一、一句话总结 + 四条可迁移的思路
PanoRoom 做了一次漂亮的"简化 + 松绑"：它的前作要把全景切成 60 张透视图逐张处理再拼回来，LayoutNet 要建两个 decoder 分支------PanoRoom 用一个基于 ResNet-50 的全卷积网络，直接在等距柱状全景图（128×256）上跑，单分支 decoder 输出"边图 + 角点图"两个通道，两张图互相增强；训练时用 λ=N/Nc 的加权交叉熵 + 感知损失来对抗"95% 是背景"的极端不平衡，并且强制每个 batch 至少含一张手工标注的非盒子房，从而打破"房间就是个盒子"的偏置；最后用 Manhattan 几何 + 贪心 RANSAC 从概率图里挑出"边概率 + 角点概率"总分最高的布局假设。结果：只训 SUN360，在 SUN360 上 3DIoU 76.82%、CE 0.79、PESS 2.59、PECS 3.13（PECS 比前作的 7.26 改善超 57%），跨到没训练过的 Stanford2D-3D 上 PECS 4.98（前作 12.1），推理约 0.7 秒/张。
四条可以带走的思路：
- "假设"是最该被优先攻击的目标。 前人都默认"房间是 4 面墙的盒子"。PanoRoom 只做了一件事------在 Manhattan 框架内去掉 box 假设 ------就让最难的指标 PECS 从 7.26 掉到 3.13（改善 57%）。当你的模型在某个指标上始终上不去时，先检查：是不是有一个没人质疑的隐含假设在卡着它？
- 多任务不一定需要多分支。 大家都用两个分支分别做边和角点，PanoRoom 用一个分支的两个通道 ------参数更少、更快，而且两个任务互相增强 （"这有助于增强两张图的质量"）。合并相关任务时，先试试"共享主干 + 多通道输出"，比"多分支"更划算。
- 极端类别不平衡，要用"权重 = N / Nc"这种最朴素的加权。 95% 是背景，模型躺平猜背景。λc = N / Nc 让稀有类权重自动放大------难题每题 19 分、简单题每题 1 分，学生自然去做难题。这是处理不平衡最便宜、最稳的第一招。
- 在"数据层面"打破偏置，比在"模型层面"修修补补更直接。 非盒子房样本极少，PanoRoom 不是改损失函数去加权，而是硬性规定每个 batch 必须塞一张 。一个 batch 层面的规则，就打破了整个数据集的偏置。当数据分布有问题时，先想想能不能在采样/组批时直接干预。
📖 名词小抄
| 名词 | 大白话 |
|---|---|
| PanoRoom | 本文方法：ResNet-50 FCN + 单分支双通道 decoder + RANSAC 几何推理 |
| ERP | 等距柱状投影：球面摊成"世界地图"，全景图的存储格式 |
| FCN | 全卷积网络：把分类网络最后的全连接层换成卷积/上采样，可输出与图同形的图 |
| Edge Map / Corner Map | 边图（哪些像素是结构边）/ 角点图（哪些像素是墙角），各一个通道 |
| ResNet-50 感受野 483×483 | 大于输入 128×256 → 每个输出像素能看到整张全景图 |
| 输入 128×256 / 输出 64×128 | 本文分辨率（后来的方法普遍用 512×1024） |
| Skip-connections | 把 encoder 的特征拼到 decoder 对应层，找回空间细节 |
| Preliminary predictions | 在不同分辨率先做初步预测，拼接后反馈回网络（由粗到精） |
| Line thickening + Gaussian blur | 把 GT 的边加粗、模糊 → 缓解"95% 是背景"的极端不平衡 |
| λc = N / Nc | 类别权重：像素越少，权重越大（正类约被放大 19 倍） |
| Perceptual Loss | 用同结构自编码器编码 GT，在高层特征上比较，让边图更连贯 |
| Manhattan World | 场景存在三个互相正交 的主方向（本文仍用，但不再假设 4 面墙盒子） |
| Greedy RANSAC | 贪心地从边图里拟合结构直线（比前作快） |
 |
一条直线的概率 = 它在边图上经过的所有像素概率之和 |
 |
挑"边 + 角点"加权总分最高的布局假设 |
| 3DIoU | 3D 布局的体积交并比（越大越好） |
| CE | 角点误差：预测与 GT 角点的平均归一化欧氏距离（越小越好） |
| PESS | Simple Segmentation 的像素误差（3 类：天花板/地板/墙，LayoutNet 定义） |
| PECS | Complete Segmentation 的像素误差（每面墙分开算 ，本文前作 2 定义，更难） |
| 只训 SUN360 | 所有实验仅用 SUN360 训练；Stanford2D-3D 结果是零样本跨数据集泛化 |
| batch=16 强制含 1 张非盒子房 | 打破"盒子房"数据偏置的关键训练策略 |
| 0.7 s / 张 | 推理耗时；论文称在精度和速度上均超越 SOTA |