NavVis一直致力于帮助人们更好地捕捉和探索室内外空间。我们的移动激光扫描系统能将真实的物理空间转化为精确、详细的三维数字空间。但是，我们如何才能让三维空间内的物体具备语义信息，从而可以让计算机理解其中的物体到底是什么呢？
在我们最近的内部编程竞赛CodeJam上，年轻的工程师们在一个早期原型上进行了实验，该原型朝着这个方向迈出了明确的一步：利用具备语义特性的增强3D高斯泼溅技术，可以教会计算机认识3D空间。
创意：将意义融入3D
如今，功能强大的人工智能模型可以清晰地识别和标注二维照片中的物体。你可以向这些模型展示一张照片，它们就能立即识别出椅子、桌子、门等等。然而，在3D场景中，这种理解能力却远远落后。
因此，曾在慕尼黑工业大学攻读博士学位的机器学习专家、NavVis公司的Manuel Dahnert博士提出了这样一个问题：我们能否将二维知识转移到三维环境中，特别是三维高斯泼溅模型当中，这样用户就可以与物体而不仅仅是几何体进行交互？
Dahnert博士的假设简单但雄心勃勃。如果我们能将对二维图像的理解直接应用到三维数字环境中，NavVis的用户最终就能以更丰富的方式与三维空间互动。他们可以按物体类型查询数字孪生系统，快速检查库存，甚至可以对三维模型进行过滤，从而只关注特定的空间元素。
3D高斯泼溅与三维激光点云
3D高斯泼溅技术将场景建模为成千上万个重叠的彩色椭球体，而不是数百万个离散点。每个椭球体都有尺寸、颜色和深度，因此更容易与来自NavVis扫描设备的原始图像建立联系。
这种结构还能将二维图像中的语义标签更自然地转换到三维图像中。它还能使文件更轻、渲染更快，并支持更平滑的表面和遮挡物，同时保留原始NavVis点云，以便进行精确测量。简而言之：3D高斯泼溅技术为增加三维数据的意义提供了更具表现力和更高效的基础。
需要说明的是，3D高斯泼溅技术虽然在三维空间可视化方面表现优异，但是却不适合对数据精度要求较高的应用场景。在需要测绘级精度的数据进行各类建模应用时，高质量的三维点云数据仍然是不可或缺的。
简单几步用开源工具制作原型
1、利用Segment Anything Model (SAM) 在每幅图像中分离出物体。
2、利用CLIP vision--language features将这些物体与椅子或门等类别建立联系。
3、将贴上标签的像素迁移至3D高斯泼溅模型中，为属于同一物体类型的每个椭球体着色。
在Dahnert博士的原型系统中，不同类型的物体始终显示为不同的颜色。所有椅子都显示为一种颜色，桌子显示为另一种颜色，而门则显示为另一种颜色。虽然还不能添加基于文本的查询，但结果清楚地表明了这种方法的潜力，它使数字场景变得不仅仅逼真，而且具有语义特性。
具备语义特性的3D高斯泼溅模型示例：图中展示的是NavVis德国总部厨房，不同颜色表示不同类型的物体
潜在的应用场景
对数字孪生模型进行过滤 ，只关注关键设备
将捕获的家具模型与设计模型进行快速对比
无需人工标注即可对特定对象进行计数
三维场景中的语义理解带来了许多可能性。想象一下，在一栋建筑的数字孪生模型中穿行并快速过滤，只看到消防安全设备。或者，让施工经理可以快速识别在建建筑的哪些部分与其BIM模型相匹配或不同(考虑到3D高斯泼溅模型的精度达不到测绘级别，这里仅仅指的是外形粗略对比)。这些功能可以为施工、设施管理和安全检查等行业节省大量时间和精力。
换句话说，我们相信，将数字空间与语义理解相结合，可以带来更智能的导航、更快的搜索和更好的决策。
虽然该原型系统的早期成果非常显著，但Dahnert博士和团队其他成员认识到，这项工作还需要继续在真实场景中进行测试，尤其是在复杂的工业环境中。
我们的目标是确保未来的语义功能在准确性、可靠性和性能方面达到与NavVis其他产品交付成果相同的水平。
展望未来
创新遵循一条可预测的路径：原型→测试→迭代。该原型系统处于早期测试阶段，但与明确的客户需求和更广泛的行业方向保持一致。
我们的工程师正在继续调整模型大小，开发基本文本查询功能，并在更大、更多样的数据集上进行测试。随着这些阶段性目标的实现，该系统的功能将不断提高，并变得更加实用。
我们相信，在不久的将来，三维空间语义理解将被广泛应用。NavVis将持续投入在相关领域的研发，以确保我们的客户做好准备，迎接三维空间语义理解的时代到来。
【以下文章来源于内芬兹NavVis，作者NavVis】
巷尚UP3D（上海巷尚）团队12年三维扫描领域项目经验，6大国际品牌中国区代理。为工业、工程、数字化设施、文化遗产、科学与教育等行业提供专业三维数字化解决方案。
巷尚三维主营：设备租赁、项目服务以及设备销售。
技术服务涵盖：逆向建模、质量检测、数字孪生、工程测绘、数字存档、形变监测、干涉分析等；参编三维激光扫描测量技术规程团体标准。
可上门，可演示，可预约咨询上海巷尚3D（021-55087262）。