【方案分享】基于Three.js和Stencil Buffer的AR实物遮挡方案,支持不规则动态区域(AR地下设施、AR虚实遮挡)

2022年初,使用安卓原生(基于filament渲染引擎)采用AR虚实遮挡的技术实现了地下隐蔽设施的显示效果【AR开发示例】实现AR管线巡检,近期有粉丝问到其实现原理。现针对WebXR中使用Three.js,做一版解析。

类似文档:
【AR开发示例】实现AR管线巡检


以下正文


一、背景与应用场景

1.1 AR 中的"实挡虚"需求

在增强环境中,"实挡虚"是很重要的一种渲染技术。它的意思是:

实际物体可以遮挡虚拟对象,使得虚拟对象看起来真正在环境中。

例如,一个虚拟人物走进桌子后面,那么它应该被桌子遮挡,而不是全部显示出来。

1.2 常见的遮挡技术对比

方法 原理 优点 缺点
使用深度摄像头 利用深度信息 自动化,真实 成本高,依赖硬件
人工遮罩模型 按照环境建模 可控性强 工作量大,无法实时
使用 Stencil Buffer 基于模板缓冲的裁剪 性能好,实时 实现处理繁琐

而地下设施的显示,则是需要利用模板测试,裁剪出显示范围。


二、技术方案概述

2.1 Three.js 的裁剪限制

Three.js 本身提供了 setScissor() 和 clipping planes,但都有限制:

  • setScissor() 只能做矩形裁剪,无法处理不规则形状
  • clippingPlanes 是平面裁剪,无法包围一个多边形区域

2.2 举揭 Stencil Buffer 技术

Stencil Buffer (模板缓冲),是一种可用于 WebGL 渲染流程中的控制技术:

  • 先将遮挡区域写入 stencil buffer
  • 再渲染场景,仅在 stencil 区域中显示
  • 可实现 任意形状、实时更新的遮挡

三、实现过程:实时多边形遮挡

3.1 初始化 renderer

js 复制代码
const renderer = new THREE.WebGLRenderer({
  antialias: true,
  stencil: true // 启用 stencil buffer
});
renderer.setSize(window.innerWidth, window.innerHeight);
document.body.appendChild(renderer.domElement);

3.2 构造遮挡区域多边形

假设我们通过实体识别/检测得到了桌子的边界点、或是通过获取开挖地下坑洞模型的尺寸计算边界:

js 复制代码
const shape = new THREE.Shape();
shape.moveTo(p0.x, p0.y);
points.forEach(p => shape.lineTo(p.x, p.y));
const geometry = new THREE.ShapeGeometry(shape);

3.3 创建 stencil 模型,不写入颜色

js 复制代码
const stencilMaterial = new THREE.MeshBasicMaterial({
  colorWrite: false // 不写入颜色缓冲
});
const stencilMesh = new THREE.Mesh(geometry, stencilMaterial);
stencilScene.add(stencilMesh);

3.4 渲染流程

(一)Stencil Pass :写入 stencil
js 复制代码
renderer.state.buffers.stencil.setTest(true);
renderer.state.buffers.stencil.setFunc(gl.ALWAYS, 1, 0xff);
renderer.state.buffers.stencil.setOp(gl.REPLACE, gl.REPLACE, gl.REPLACE);
renderer.state.buffers.color.setMask(false);
renderer.state.buffers.depth.setMask(false);

renderer.render(stencilScene, orthoCamera);
(二)Scene Pass :仅在 stencil = 1 区域渲染
js 复制代码
renderer.state.buffers.stencil.setFunc(gl.EQUAL, 1, 0xff);
renderer.state.buffers.stencil.setOp(gl.KEEP, gl.KEEP, gl.KEEP);
renderer.state.buffers.color.setMask(true);
renderer.state.buffers.depth.setMask(true);

renderer.render(mainScene, camera);

四、实时更新遮挡区域

对于需要实时识别/检测遮挡区域的场景,可以进行下列操作:

  1. 通过图像识别、点云进行线描边界
  2. 生成新的多边形顶点 array
  3. 重置 ShapeGeometry 更新 stencil mesh
js 复制代码
shape.currentPath = new THREE.Path();
points.forEach(p => shape.lineTo(p.x, p.y));
mesh.geometry.dispose();
mesh.geometry = new THREE.ShapeGeometry(shape);

每帧样更新,就可以达到实时遮挡效果


五、实战场景

5.1 场景说明

显示地下设施

5.2 实现流程

  1. 根据模型计算开挖坑洞的3D空间坐标
  2. 转换成屏幕2D坐标
  3. 创建 stencilMesh
  4. 培入渲染流程,实现遮挡

5.3 效果展示

以下数据非真实数据,仅是功能测试时编造的数据。


六、进阶技巧与优化

6.1 多个遮挡区域支持

  • 使用多个 stencilMesh 合并成一个 geometry
  • 可通过不同值 stencil id 区分区域

6.2 控制遮挡优先级

  • 利用 renderOrder 先后顺序
  • 配合 depthTest,确保正确遮挡

6.3 半透明遮挡

  • 结合 alpha mask + stencil 实现透明遮挡
  • 可用于玻璃遮挡效果

七、总结

  • 通过 stencil buffer,可以在 WebAR/现实场景中实现实物遮挡虚拟效果
  • 支持任意形状,高性能,可实时调整
  • 推荐配合 AI 规划或点云线描实现自动遮挡
  • 未来可展望进一步接入 WebXR 和深度信息,进一步提升真实感

相关推荐
泯泷15 小时前
Vercel AI SDK 6 完整教程系列 - 第一部分:基础入门篇
前端·javascript
程序员大阳17 小时前
副队长Vue3教程(5)--事件绑定 v-on
前端·javascript·vue.js·vue3·事件绑定·v-on
泯泷17 小时前
Vercel AI SDK 6 完整教程系列 - 第二部分:结构化数据与工具调用
前端·javascript
云起SAAS19 小时前
手机靓号选号商城H5源码 完整前后台可直接运行
前端·javascript·后端
code2cat19 小时前
JavaScript编程篇之异步请求:切换到待办,为什么又显示了全部任务
前端·javascript
1-1=020 小时前
Vue 条件渲染和列表渲染
前端·javascript·vue.js
用户2986985301420 小时前
React 前端实现 Word 与 OpenXML 双向转换的完整实践
javascript·react.js
Highcharts.js20 小时前
Workbuddy + Highcharts Orbit:工作区数据自动建模与可视化分析实践
前端·javascript·信息可视化·数据可视化·highcharts·可视化图表·workbuddy
程序员大阳1 天前
副队长Vue3教程(2)--Vite 搭建 Vue 项目,认识目录结构
前端·javascript·vue.js·vite·创建项目·目录结构·项目结构
北城笑笑1 天前
Vue 110 ,若依SSE流式接口限次空500排查与解决
前端·javascript·vue.js·后端·vue