ShapeGPT一统天下：一种统一的多模态形状生成框架

作者：王林 | 来源：3DCV

1、导读

近年来，大规模预训练的语言模型（LLMs）如GPT、BERT和T5等的出现，推动了多模态学习的发展。这些模型不仅可以处理语言和图像等传统的模态数据，还可以处理其他创新的模态数据。然而，在处理3D数据，特别是3D形状和其他多模态数据方面，目前的研究还不够充分。因此，本文提出了ShapeGPT，这是一个包含形状的多模态生成模型，通过指令来支持多种与形状相关的任务。这个模型可以丰富虚拟建设、游戏、网络辅助设计和3D打印等领域的应用。以往的3D形状研究主要集中在形状生成、形状描述和形状完成/编辑等任务上，最近的趋势是引入文本指令来增强形状生成的灵活性。然而，现有方法通常独立解决任务，缺乏对多模态数据之间相互作用的整体理解，也无法适应多样的任务或处理多样的输入组合。因此，本文旨在构建一个综合的多模态模型，能够理解3D形状和其他模态数据之间的相互关系，并在不同任务之间实现相互受益的效果。

2、研究思路

开发一种统一的多模态生成模型，名为ShapeGPT，用于处理与3D形状相关的任务。我们的研究思路主要包括以下几个方面：

构建多模态语料库：我们首先通过对文本、图像和形状进行离散化处理，构建一个多模态语料库。这个语料库包含了形状、图像和文本之间的对应关系，为后续的任务提供了基础数据。
形状感知的语言模型：我们设计了一个形状感知的语言模型，用于理解与形状相关的语法和句法。这个模型能够处理形状到文本、文本到形状、形状完成和形状编辑等多种任务。
多任务指令微调：我们采用了一个三阶段的训练策略，包括语料库预训练和语言生成、多模态形状感知模型训练，以及多任务指令微调。通过这个训练策略，我们能够对模型进行全面的训练，使其在各种形状相关任务上表现出色。

通过以上的研究思路，我们成功地解决了多模态生成模型在处理3D形状数据方面的挑战。ShapeGPT能够根据指令生成与形状相关的多模态结果，包括文本到形状、形状到文本、形状完成和形状编辑等任务。这一研究成果对于3D虚拟建设、游戏开发、网络辅助设计和3D打印等领域具有重要的应用价值。

3、研究内容

研究内容是关于一种名为ShapeGPT的多模态语言模型，旨在实现基于指令的三维形状生成。该模型结合了文本、图像和形状等多模态输入，并通过大规模语言模型进行序列生成，以实现各种与形状相关的任务。文章介绍了ShapeGPT的架构和训练策略，并通过实验证明了该模型在常见的形状生成任务中的性能与现有方法相当。

4、贡献

我们提出了一种统一的形状语言生成预训练模型--ShapeGPT，它涉及多模态条件输入，将自然语言模型引入形状相关的生成中，并通过单一模型执行各种形状任务。
我们引入了带有指令的形状感知多模态训练方案，通过任务反馈进行学习，并通过提示产生有前景的结果。
我们提出了一个用于多任务评估的通用形状基准，ShapeGPT 利用所有可用代码和数据，在图像到形状、文本到形状、形状到文本、多模态到形状、形状补全和形状编辑等不同任务中取得了具有竞争力的性能。

5、方法

方法部分主要包括三个阶段：形状表示阶段、多模态对齐阶段和基于指令的生成阶段。

形状表示阶段：在这个阶段，我们使用3D VQ-VAE模型对形状进行离散化表示。通过将连续的形状转换为离散的标记序列，我们构建了一个形状语料库。
多模态对齐阶段：为了让语言模型能够理解多模态语言段落，并执行基本的指令，我们在有限的数据范围内对ShapeGPT进行预训练。我们选择了ShapeNet数据集中的椅子和桌子类别，并使用高质量的文本注释。我们设计了四个简单的问题-回答对，包括文本到形状、图像到形状、多模态到形状和形状到文本的任务。通过优化语言模型，使生成的序列与答案序列之间的损失最小化，我们初步实现了自然语言与形状-图像-文本词汇的对齐。
基于指令的生成阶段：为了实现更全面的功能，我们构建了基于指令的生成任务。在这个阶段，我们通过给ShapeGPT提供多样化的指令，进一步训练模型。这些指令可以包括形状生成、形状描述、形状推理和形状编辑等任务。

通过这三个阶段的训练，我们逐步提升了ShapeGPT在形状生成和多模态语言理解任务上的能力。

6、实验结果

我们采用了多种实验方法来评估ShapeGPT模型的性能和效果。以下是对每种实验方法的说明：

形状生成任务：通过将输入的图像和文字描述转化为语言序列，ShapeGPT模型能够生成与输入相对应的形状。在这个任务中，我们与最新的方法进行了比较，并使用IoU、CD和F-score等指标来评估生成的形状的质量。实验结果表明，ShapeGPT在形状生成任务中表现出色。
文本到形状任务：在这个任务中，我们通过给定的形状描述生成与描述相符的形状。我们使用ShapeNet数据集上的椅子和桌子类别进行评估，并使用生成的形状与高质量注释之间的相似性来衡量性能。实验结果显示，ShapeGPT在文本到形状任务中的表现接近最优方法。
多模态到形状任务：在这个任务中，我们评估了通过单个渲染图像和文字描述生成形状的能力。我们将ShapeGPT与支持多模态输入的SD-Fusion方法进行了比较，并使用生成和重建指标来评估性能。实验结果表明，ShapeGPT在多模态到形状任务中的性能优于先前的方法。
其他形状相关任务：除了形状生成任务，ShapeGPT还可以执行其他形状相关的任务，如形状描述、形状补全、形状推理和形状编辑。

我们使用不同的评估指标来评估每个任务的性能，并与目标形状进行比较。实验结果显示，ShapeGPT在这些任务中表现出色。综上所述，通过采用多种实验方法，我们对ShapeGPT模型进行了全面的评估，并证明了其在各种形状相关任务中的出色性能。

7、结论

我们介绍了一种名为ShapeGPT的多模态生成模型，用于处理与3D形状相关的任务。该模型利用强大的预训练语言模型，通过指令驱动的方法实现了基于指令的形状生成。通过将连续形状离散化为形状词，并将这些词组装成形状句子，同时将形状与指令文本结合起来，实现了多模态段落。通过三阶段的训练方案，包括形状表示、多模态对齐和基于指令的生成，来对齐形状-语言编码和学习这些模态之间的复杂关系。实验结果表明，ShapeGPT在文本到形状、形状到文本、形状完成和形状编辑等形状相关任务上取得了可比较的性能。因此，本文的研究结论是ShapeGPT是一种有效的多模态生成模型，可以应用于多种与形状相关的任务。