《大规模 3D 城市布局的语义与结构引导可控生成》翻译

大规模 3D 城市布局的语义与结构引导可控生成

摘要

城市建模对于城市规划、场景合成和游戏至关重要。现有的基于图像的方法生成多样化的布局，但通常缺乏几何连续性和可扩展性，而基于图的方法捕捉结构关系却忽略了地块语义。我们提出了一个可控框架，用于生成大规模 3D 矢量城市布局，该框架同时以几何和语义为条件。通过融合几何和语义属性、引入边权重以及在图中嵌入建筑高度，我们的方法将 2D 布局扩展到逼真的 3D 结构。它还允许用户通过修改语义属性直接控制输出。实验表明，该方法能生成有效的大规模城市模型，为数据驱动的规划和设计提供了有效工具。

关键词: 城市布局生成；3D 建模；图神经网络；条件变分自编码器；语义控制

1. 引言

城市建模在计算机图形学、城市规划和游戏开发等领域持续吸引着研究兴趣。城市日益被概念化为由道路、建筑、水体和植被组成的综合系统。其中，道路网络划分出构成城市

街区的地块------这些是构成城市形态和功能的基本空间单元 [13, 35]。

传统的程序化建模方法使用基于规则的语法和模板生成大规模城市环境 [2, 41]。虽然对于规则网格对齐的布局有效，但它们难以适应不规则的几何形状和异构的建筑风格。最近的数据驱动方法通过利用深度生成模型来解决这些局限性。例如，Pix2Pix 以道路和地块输入为条件来合成建筑分布，但通常边界模糊 [17, 27]。诸如 ESGAN 和 CAIN-GAN 等扩展方法提高了输出的多样性和可控性 [15, 18]，而基于扩散的框架（如 Stable Diffusion 和 ControlNet）则能够从语义地图或鸟瞰图输入生成布局 [46, 47]。GeoDiffusion 进一步将地理基元编码为文本提示，以合成高保真度的鸟瞰图布局 [4]。

与基于图像的方法并行，基于矢量图的方法将城市环境表示为图结构数据 [20][24]，实现了细粒度控制和语义推理。LayoutVAE 通过变分自编码学习建筑和道路边界框的分布 [21]。BlockPlanner 将城市街区编码为具有地块级节点和邻接边的图，使用图神经网络生成规则的建筑轮廓 [45]。GlobalMapper 使用图注意力网络将其推广到任意多边形地块，支持对语义和几何属性的条件控制 [16]。互补性的工作探索了语义感知合成 [22]、几何与土地利用的多模态集成 [3]，以及在建筑级别的高保真立面生成 [26]。这些进展强调了在城市布局生成中需要统一几何真实性、语义一致性和拓扑连贯性的可扩展框架。

然而，现有的建筑布局优化主要关注 2D 平面，并且仅根据形状来安排地块，忽略了现实世界的属性，如地块尺度、朝向和语义上下文。基于图像的 3D 城市生成方法可以生成高保真度的局部场景，但难以扩展到大规模区域规划、保持空间连续性，并且无法避免像素引起的锯齿状边缘，这与真实的城市设计相悖。语义地图和深度图通常是分别生成的，无法确保一致的高度和语义对齐，并且输出缺乏矢量结构，限制了可控性和下游编辑。

为了解决这些挑战，我们提出了一个统一的框架，可以生成多样化、可控且逼真的城市布局作为基础矢量数据。我们的方法将每个建筑视为一个独立的实体，而不是像素的集合，本质上产生 3D 矢量化的输出。通过在生成过程中联合建模几何和语义因素，我们实现了更合理和逼真的布局。此外，我们的框架可以从单个输入合成任意尺度的布局------不受图像分辨率的限制------从而保持空间连续性。

为了有效地表示和建模城市街区及其建筑，我们首先采用街区-建筑关系的统一图表示 [16]。值得注意的是，我们引入了自适应边权重来丰富这种结构，并允许更有效的节点特征传播，这是基于我们观察到建筑倾向于沿着与地块边界平行的网格状行列对齐。接下来，我们将单个建筑抽象为由其轮廓几何和高度剖面定义的基本 3D 实体。将每个建筑视为一个集成单元确保了生成结果的合理性。通过采用图注意力网络作为我们条件变分自编码器的主干，模型同时学习高度和布局模式，实现了非常接近真实城市的 3D 规划结果。最后，我们将地块语义标签和几何属性融合成一个单一的条件信号，用于监督城市布局的学习和生成，确保输出合理且有效。

此外，我们的方法支持用户驱动的土地利用属性编辑，以产生各种规划方案，并且生成的基底矢量模型支持即时编辑、渲染、详细细化以及与现有 GIS 数据集的无缝对齐，大大增强了可用性和实际应用。我们的主要贡献总结如下：

• 我们提出了一种新颖的框架，用于生成以地块几何和语义属性为条件的城市尺度建筑布局。
• 我们提出了一种强化的图表示，将行列布局模式集成到边权重中，并融合多个地块属性作为条件输入，从而产生更大的多样性和可控性。
• 我们将建筑高度嵌入为节点特征，以生成连续的、逼真的、基于矢量的任意尺度 3D 城市建筑模型。

2. 相关工作

城市布局生成

早期的城市布局生成研究主要依赖于程序化建模框架，利用形状语法和生产规则来编码分层的街道网络和街区结构 [30, 33, 42]。这些方法提供了对风格变化的细粒度控制，但需要大量人工制定规则，并且难以自动适应不同的地理环境。为了减轻人工工作量，引入了混合和参数化方法，将基于样本的优化与用户驱动的模板相结合，使生成的布局符合现实世界的约束 [1]。最近，数据驱动技术获得了关注：生成对抗网络已被应用于从卫星图像合成连贯的街道模式 [25, 49]，卷积神经网络已能根据城市形态生成高保真度的立面细节 [5]。CityDreamer [43] 采用组合生成模型来生成无边界、高保真度的 3D 城市渲染，具有强大的语义一致性，但仍局限于栅格输出，没有直接的矢量或 CAD 集成。然而，普遍依赖栅格化或类图像表示阻碍了这些模型捕捉单个建筑之间明确的拓扑关系和功能依赖性 [9]。新兴的基于图和关系学习的方法旨在通过在一个统一框架内建模空间邻接、土地利用语义和连通性约束来弥合这一差距 [12, 44]，尽管这些工作依赖于海量多模态数据集且难以处理 3D 现实世界建模，这正是本文进一步探索的方向。

城市背景下的基于图的建模

城市系统日益复杂，促使了基于图的表示的采用，其中节点表示空间实体，边编码拓扑、语义或功能关系。基础的图神经网络架构------如图卷积网络 [23] 和图注意力网络 [40]------促进了多维特征在图拓扑上的传播。在城市领域，这些模型已通过 OpenStreetGraph [48] 应用于道路网络分类和嵌入，并通过 UrbanGNN（整合了包括兴趣点数据和人口统计指标在内的异构节点属性）应用于土地利用推断 [6]。将这种范式扩展到建筑级别，我们的工作构建了节点代表单个建筑、边捕捉空间邻接、功能联系或行人连通性的图。这种粒度支持细粒度的语义推理，并支持从分区分析到生成式城市设计的任务。此外，GCN 的关系扩展允许纳入多类型边，适应多样化的城市关系，如共享边界、基础设施依赖性和土地利用协同效应。尽管取得了这些进展，但在将基于图的模型扩展到城市范围的分辨率以及将多模态地理空间数据集无缝集成到统一图框架方面仍然存在挑战。

具有语义条件的生成模型

结构化数据的生成建模已被变分自编码器革新，VAE 学习用于合成复杂对象（如分子图、3D 场景和城市布局）的潜在表示。条件 VAE 通过将辅助变量------语义标签、物理描述符或功能约束------直接注入编码器和解码器来扩展这一范式，从而引导生成朝向期望的属性 [37]。为了处理任意的图结构，GraphVAE [28] 在 VAE 框架内使用图神经网络，将节点和边特征嵌入到连续的潜在空间中，以实现忠实的图重建和生成 [36]。互补的分层方法------例如 Junction Tree VAE ------将分子分解为子结构树，通过建模粗粒度骨架和细粒度连接来提升生成图的有效性和多样性 [19]。受这些工作的启发，我们设计了一个基于图的 VAE，它在编码器和解码器中都融入了街区的语义属性，从而实现语义一致且空间合理的城市建筑生成。

3. 我们的方法

我们方法的整体工作流程如图 2 所示。我们首先将地块内建筑的空间排列建模为一个结构化图，然后将其送入一个带有 GAT 主干的 CVAE 进行训练。地块的关键属性被连接并编码成一个向量，作为条件输入来指导生成过程。一旦模型训练完成，只需提供大规模地块的边界和指定的土地利用属性，它就可以生成 3D 城市形态。在以下小节中，我们首先详细说明图表示方法，接着解释 CVAE 框架和我们模型中采用的 GAT 架构，最后将演示街区条件编码器。

3.1 街区与建筑表示

我们使用两个组件来表示一个城市街区：一个编码街区语义和几何属性的二值图像，以及一个捕捉按多行多列排列的建筑分布的图。

建筑。一个图可以写作，其顶点集合中的每个顶点描述一个单独的建筑，其特征定义为：。基于 [16] 提出的几何归一化变换，其中节点特征分别描述了特定建筑的存在性、归一化位置、归一化尺寸、高度、形状特征和朝向。此外，我们将建筑的形状拟合库扩展到包括八种不同的参数化形式，如图 3 所示：矩形、U 形、L 形、H 形、T 形、X 形、庭院型和三角形。

此外，我们的方法引入了一个关键增强，即结合了建筑布局的邻接性和稀疏性特征。具体来说，边属性是基于平均行间或列间距离定义的，从而能够通过图结构在建筑节点之间进行可变权重的信息传播。对于边集合中的边，其边特征可以通过相邻行或列的平均距离计算：

这里，H 和 W 分别表示街区的高度和宽度。

街区。街区特征由一个二值掩码、街区尺度、朝向和土地利用类型组成。二值掩码编码了街区的几何轮廓，而后三个指标------、和------被嵌入为掩码的三个附加通道。的每个值对应一个不同的类别，在整合到模型之前将通过独热编码进行转换。

这四个通道形成了一个多维表示，捕捉了城市街区的空间结构和语义属性，从而在下游处理过程中实现更全面的特征编码。

3.2 CVAE

条件变分自编码器是一种生成模型，它通过将编码器和解码器都置于辅助信息的条件下，扩展了标准的 VAE。给定输入和条件，编码器学习到潜在空间的概率映射，建模为，而解码器通过从和重构。

CVAE 通过最大化条件证据下界进行训练，该下界平衡了重构精度和潜在空间的正则化。目标函数

定义为：

这里，第一项鼓励在条件下精确重构输入，第二项是 Kullback-Leibler 散度，用于规范近似后验接近先验，通常选择为标准高斯分布且独立于。

通过将条件纳入编码和解码过程，CVAE 实现了可控生成和结构化表示学习，使其非常适用于涉及属性引导合成或解耦特征建模的任务。

3.3 图注意力网络

GAT 通过使用注意力机制聚合来自邻居节点的信息，实现灵活的节点表示学习。对于每个节点，其特征首先进行线性变换：

一个注意力分数衡量邻居的影响：

为了纳入边特定的关系------例如空间邻近性或语义相似性------一个权重调制该分数：

这些调制后的分数通过 softmax 进行归一化：

最后，节点的更新特征是其邻居的加权和：

通过将边权重整合到注意力机制中，GAT 在特征传播过程中自适应地强调信息更丰富或空间更相关的邻居。

3.4 街区编码器

为了提取城市街区的有意义的表示，我们设计了一个街区编码器来处理四通道特征图像。采用一个基于卷积神经网络的编码器来处理输入的多通道图像，该编码器学习将空间和语义信息压缩成一个紧凑的潜在向量。编码器通过最小化重构损失进行训练。在我们的实验中，生成的特征嵌入是一个 128 维的向量集，这被证明是街区几何和语义的简洁而富有表现力的描述符。

4. 实验

4.1 数据集

为了构建一个用于城市街区建模的综合数据集，我们从多个来源收集并整合了数据。带有高度信息的建筑轮廓来自 OpenStreetMap 和 Microsoft Building Footprints 数据集 [29, 32]。街区级别的边界从美国人口普查局提供的 TIGER/Line Shapefiles 下载 [38]。此外，包括纽约、芝加哥和华盛顿特区在内的城市的土地利用类型数据从各自的官方城市数据门户检索 [7, 10, 31]。

图 2. 整体框架。 CVAE 使用建筑布局的规范图数据进行训练，给定包含语义和几何信息的街区条件。

图 3. 建筑形状库：八种类型

所有原始数据源均以矢量格式提供，这促进了空间对齐和整合。经过预处理和合并后，最终数据集包含大约 5,000 个城市街区和 25,000 个独立的建筑轮廓，每个都标注了几何和语义属性。数据集统计摘要见表 1 和表 2，包括不同城市的数量、覆盖范围和属性完整性。

4.2 实现细节

我们按照提出的方法进行了端到端训练，使用了从三个主要城市抽样的大约 20,000 个城市地块，每个城市贡献了大约三分之一的训练数据。模型通常在大约 200 次迭代后收敛。为了监督，我们对新引入的节点高度属性应用了交叉熵损失，权重因子为 4。此外，代表行间和列间间距的边权重使用权重为 1 的交叉熵损失进行训练。总训练周期数设置为 250。所有实验均在单个 NVIDIA RTX 4090 Ti GPU 上进行，完整的训练过程大约需要 48 小时。

4.3 主要结果

给定一个目标城市区域和每个街区指定的土地利用类型，我们的模型可以在指定的地块内自动生成相应的 3D 建筑布局。如图 4 所示，我们展示了具有不同土地利用配置的混合用途街区，以证明模型根据输入地块的几何和语义属性合成建筑排列的能力。第一行显示了主要是商业区的 3D 布局，其特点是对称、轴对齐的地块和基本统一的建筑高度。第二行展示了混合用途区域（商业、住宅和工业）以及不规则形状地块的结果：工业建筑分布稀疏，住宅街区遵循一致的模式，商业建筑更大、更高且更不规则以适应其功能。第三行说明了具有规则地块几何形状和混合土地利用的区域，其中建筑按清晰的行列网格排列。

值得注意的是，即使在同一个地理区域内，仅改变土地利用类型也能生成多样化的城市布局方案，如图 1 所示。输出结构为矢量几何，使它们易于编辑，并适用于下游优化和规划工作流。

4.4 评估指标

为了定量评估生成的建筑布局的质量，我们采用了一组空间指标来捕捉几何精度、分布相似性和拓扑有效性。具体来说，我们计算：

• 布局相似性：使用 Hausdorff 距离或 Earth Mover's Distance 衡量生成布局与参考布局之间的空间相似性。
• 重叠率：量化建筑之间重叠区域的比例。
• 出块率：评估落在指定街区边界之外的建筑百分比。
• Wasserstein 距离（边界框）：通过边界框中心评估建筑位置和大小的分布差异。
• Wasserstein 距离（数量）：比较生成布局与参考布局之间每街区建筑数量的分布。
• Frechet Inception 距离：可选地用于通过栅格化布局并比较从预训练网络提取的特征分布来衡量视觉相似性。

这些指标全面评估了城市布局生成中的结构保真度和语义合理性。

4.5 对比

基于上述评估指标，我们将我们的建筑布局生成方法与现有的基于图的方法进行了比较，包括 GlobalMapper [16] 和 BlockPlanner [45]。总共选择了 500 个城市街区进行定量分析。由于这些基线方法没有包含建筑高度信息，因此比较主要在二维空间分布上进行。如表 3 所示，我们的方法在三个关键指标上优于其他两种方法，并且在布局相似性和出块率方面相对于最佳结果取得了可比的性能。

此外，我们的方法支持 3D 基础建筑布局的生成，如图 5 所示，由于其基于矢量的 3D 数据结构，可以轻松用于下游应用。

从更广泛的角度来看，我们观察到将建筑形状库扩展到包含更复杂的几何基元并不会显著提高生成布局与真实分布之间的相似性。相比之下，纳入土地利用类型和边权重似乎增强了基于网格的建筑排列的结构连贯性，使得更容易发现由语义属性告知的潜在空间模式。虽然所有比较的方法都支持生成

表 1. 各城市每街区建筑数量摘要

城市	最大值	最小值	平均值	标准差	总街区数
纽约市	392	1	45.6	21.2	62535
芝加哥	460	1	17.7	15.6	46357
洛杉矶	286	1	28.2	25.6	23418

表 2. 各城市按土地利用类型的街区数量

土地利用类型	纽约市	芝加哥	洛杉矶
居住	14674	4991	4857
商业	6233	6465	4325
工业	1425	851	699
公共	3028	285	396
娱乐	7538	599	481

平面矢量数据，但我们的方法额外支持生成带有 3D 高度属性的基于矢量的布局，并支持可编辑的土地利用配置。

5. 结论

我们提出了一种可控的生成大规模基于矢量的 3D 城市布局的方法。通过利用道路网络或街区边界以及语义信息，我们的方法能够创建具有功能属性的多样化城市设计方案。与现有方法相比，我们的结果展示了有效的性能和增强的灵活性。

5.1 应用与局限性

该方法为城市规划及相关领域的专业人士提供了宝贵的支持。生成的布局是可编辑的，可以作为更详细城市设计任务的基础模型。

表 3. 我们生成了 500 个城市布局，并与同等数量的真实城市布局进行比较。最佳值以粗体显示。我们的方法在 3 个指标上优于其他现有方法。

方法	L-Sim↑	OPR↓ (%)	OBR↓ (%)	FID↓	WD↓ (bbx)	WD↓ (count)
BlockPlanner	10.84	4.25	1.26	26.77	6.23	0.15
GlobalMapper	12.36	0.98	0.45	15.32	2.52	0.38
Ours	12.96	1.03	0.37	11.32	2.7	0.4

图 4. 给定地块边界和土地利用类型（由不同颜色表示），生成的 2D 建筑布局如图所示。 BlockPlanner [45] 经常产生重叠的建筑并违反地块约束。GlobalMapper [16] 缺乏语义感知，导致重复和同质化的布局。与这些方法相比，我们的方法生成了多样化、语义一致的建筑配置，并减少了空间错误。

然而，该方法存在局限性。将建筑表示为简单的 3D 挤出体未能捕捉建筑结构和周围环境的复杂性。虽然语义信息的整合便于设计者参与，但也给属性指定和一致性带来了挑战。

5.2 未来工作

未来的研究将探索结合自动生成与人在回路细化的混合方法。这包括生成具有功能分区的多样化城市布局、自动评估和优化反馈，并允许设计者在过程中进行干预。我们还旨在增强 3D 模型的粒度，并纳入额外的城市元素，如植被和水体，以更好地模拟有机的城市环境。这些方向与大型语言模型和计算机视觉应用中的新兴努力相一致。

致谢

感谢所有提供宝贵建议的人以及我们小组的所有成员。

参考文献

• 1\] D. G. Aliaga, P. A. Rosen, and D. R. Belnis. 2015. Inverse Procedural Modeling of Residential Building Facades. In *Proceedings of the IEEE International Conference on Computer Vision (ICCV)*. IEEE, Santiago, Chile, 3652-3660.

• 3\] F. Biljecki et al. 2018. An Overview of 3D City Modelling for Urban Analytics. *ISFRS International Journal of Geo-Information* 7, 6 (2018), 219.

• 5\] X. Chen, L. Xie, F. Zou, and L. Zhang. 2019. CNN-based Facade Generation Conditioned on Urban Morphology. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)*. IEEE, Long Beach, CA, USA, 12-20.

• 7\] City of Chicago. \[n.d.\]. Chicago Data Portal. https://data.cityofchicago.org/. 访问于: 2025年8月.

• 9\] Jie Deng, Wenhao Chai, Jianshu Guo, Qixuan Huang, Junsheng Huang, Wenhao Hu, Shengyu Hao, Jenq-Neng Hwang, and Gaoang Wang. 2025. CityGen: Infinite and Controllable City Layout Generation. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)*.

• 11\] David S. Ebert, Kenneth Musgrave, Darwyn Peachey, Ken Perlin, and Steven Worley. 2003. *Texturing and Modeling: A Procedural Approach*. Morgan Kaufmann.

• 13\] Sandra Gasparovic, Tea Jukic, and Ante Mrda. 2021. Functional and Morphological Transformations of the Urban Block. *Heritage* 4, 4 (2021), 4184-4204.

• 15\] M. Hamghallian. \[n.d.\]. Enhancement and Segmentation GAN (ESGAN). https://github.com/hamghalam/ESGAN. 访问于: 2025年8月.

• 17\] P. Isola, J. Y. Zhu, T. Zhou, and A. A. Efros. 2017. Image-to-Image Translation with Conditional Adversarial Networks. In *Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*.

• 19\] Wengong Jin, Regina Barralay, and Tommi Jaakkola. 2018. Junction Tree Variational Autoencoder for Molecular Graph Generation. In *Proceedings of the 35th International Conference on Machine Learning (ICML)__(Proceedings of Machine Learning Research, Vol. 80)*. PMLR, Stockholm, Sweden, 2323-2332.

• 21\] S. Jyothi N. Iyer, and A. Gupta. 2019. LayoutVAE: Generative Modeling of Structured Scene Layouts. In *Proceedings of the IEEE International Conference on Computer Vision (ICCV)*. 9351-9360. doi:10.1109/ICCV.2019.00937

• 23\] Thomas N. Kipf and Max Welling. 2017. Semi-Supervised Classification with Graph Convolutional Networks. In *International Conference on Learning Representations (ICLR)*.

• 25\] X. Li, J. Cui, A. Zhu, Q. Zou, and R. Zhang. 2020. GAN-based Street Layout Synthesis from Satellite Imagery. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)*. IEEE, Seattle, WA, USA, 152-161.

• 27\] Z. Li, B. Guan, Y. Wei, Y. Zhou, J. Zhang, and J. Xu. 2024. Mapping New Realities: Ground Truth Image Creation with Pix2Pix Image-to-Image Translation. arXiv preprint arXiv:2404.19265.

• 29\] Microsoft. \[n.d.\]. US Building Footprints Dataset. https://github.com/microsoft/USBuildingFootprints. 访问于: 2025年8月.

• 31\] New York City Department of City Planning. \[n.d.\]. Zolas Zoning and Land Use Application. https://zola.planningnyc.gov/. 访问于: 2025年8月.

• 33\] Y. I. H. Parikh and P. Muller. 2001. Procedural modeling of cities. In *Proc. SIGGRAPH*. 301-308.

• 35\] Alireza Shakibanmaneh and Behazad Ebrahimi. 2020. Toward Practical Criteria for Analyzing and Designing Urban Blocks. In *Sustainability in Urban Planning and Design*. IntechOpen.

• 37\] K. Sohn, H. Lee, and X. Yan. 2015. Learning Structured Output Representation using Deep Conditional Generative Models. In *Advances in Neural Information Processing Systems*_(NeurIPS)_.

• 39\] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio. 2018. Graph Attention Networks. In *International Conference on Learning Representations (ICLR)*. https://arxiv.org/abs/1710.10903

• 41\] B. Watson et al. 2008. Procedural Urban Modeling in Practice. In *ACM SIGGRAPH 2008 Classes*.

• 43\] Hassibi Xie, Zhaoxi Chen, Fangzhou Hong, and Ziwei Liu. 2024. CityDreamer: Compositional Generative Model of Unbounded 3D Cities. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*.

• 45\] Z. Xu and D. G. Aliaga. 2021. BlockPlannerUrban Block Generation with Vector Graphs. In *Proceedings of the IEEE International Conference on Computer Vision (ICCV)*.

• 47\] L. Zhang and M. Agrawala. 2023. Adding Conditional Control to Text-to-Image Diffusion Models. arXiv preprint arXiv:2302.05543.

• 49\] Y. Zhou, J. Zhang, Y. Lin, and C. Shen. 2022. CityLayoutGAN: Generating Urban Street Layouts with Generative Adversarial Networks. *Computers \& Graphics* 106 (2022), 122-133.