【Sceneform-EQR】实现3D场景背景颜色的定制化(背景融合的方式、Filament材质定制)

写在前面的话

Sceneform-EQR是基于(filament)扩展的一个用于安卓端的渲染引擎。故本文内容对Sceneform-EQR与Filament都适用。

需求场景

在使用Filament加载三维场景的过程中,一个3D场景对应加载一个背景纹理。而这样的话,即便有多个3D场景是同一个风格,但由于背景颜色不同,也需要UI设计师准备不同的背景切图。这不仅仅会造成资源的浪费,也会增大UI设计师的工作。

要解决的问题:在Filament引擎中采用一份背景切图实现不同3D场景的背景颜色的定制化。

具体步骤

  1. 我们要基于Filament材质系统定制一个能够支持背景融合的材质文件。
    已知Filament提供了以下参数类型:

已知在Filament引擎中获取指定纹理的颜色值的方法如下:

  • 从图片纹理"background"获取(u,v)位置的颜色值的方法。

t1(u,v) = texture(materialParams_background, getUV0())

  • 从视频纹理"video"获取(u,v)位置的颜色值的方法。

t2(u,v) = texture(materialParams_video, getUV0())

  • 获取颜色纹理的颜色值的方法。

t3(u,v) = blendColor

定制支持背景融合的材质文件:

(1)在已知部分中,我们采用t1(u,v) ,t2(u,v) ,t3(u,v)来表示三种不同类型纹理的获取纹理坐标为(u,v)的颜色值的方法,而在实际的需求中,我们为了实现复杂的视觉效果,往往会使用更多数量的纹理对象。为了简化后续表述,现统一采用T(u,v)代替t1(u,v) ,t2(u,v) ,t3(u,v)表示方法,来表示获取指定纹理对象的纹理坐标为(u,v)的颜色值。

(2)为了控制不同纹理的影响程度,我们引入了权重,从而实现我们通过调节xi的值就可以达到调节3D场景背景效果的目的。

说明:xi表示第i个纹理的权重值,n表示用于背景融合的纹理数量,wi 表示第i个纹理的在融合后的背景中的影响程度。

(3)结合获取纹理坐标为(u,v)的颜色值公式T(u,v)和权重公式,我们可以得到新颜色值的计算公式Y(u,v)如下:

说明:i表示纹理对象的索引,xi表示第i个纹理的权重值,n表示用于背景融合的纹理数量, 表示第i个纹理对象在UV坐标为(u,v)的位置获取到的颜色值。

通过上式,我们即可将n个纹理按指定权重进行颜色值的融合,从而得到最终生成的用于3D场景背景渲染的纹理上的坐标为(u,v)的点的颜色值。(见图2)

(4)最后,我们通过编译Filament得到的桌面工具"matc.exe",使用它编译材质。最终

到可用于Filament引擎在Android平台下加载的材质文件(mat.filamat)。

  1. 在Android平台下读取"matc.exe"工具编译所得的材质,在3D场景中实现基于此材质的背景渲染。
    (1)通过 Filament的VertexBuffer.Builder和IndexBuffer.Builder创建顶点和顶点索引,然后构建场景背景的Mesh对象。
    (2)基于"mat.filamat"构建Material对象,然后将其传入Mesh对象。
    (3)最后,我们可以通过Material对象的相关set方法,实时将材质参数传入Filament引擎,从而通过既定的片段着色器进行多种纹理的背景融合。

附图说明

1、通常的实现方式,添加遮罩View去实现背景的叠加显示。

图1.叠加遮罩View的实现方式

2、实现多个源纹理的坐标为(u,v)的点的颜色值的融合。

若将这两个源纹理均采用相同的权重进行融合,则融合的效果可参考下图。

图2.两个源纹理采用的权重

3、通过融合的方式生成新背景纹理的流程图如下:

图3.生成新纹理的流程

相关推荐
爱看书的小沐19 小时前
【小沐杂货铺】基于Three.js绘制三维艺术画廊3DArtGallery (Three.js,WebGL)
javascript·3d·webgl·three.js·babylon.js·三维画廊
格林威19 小时前
3D相机视觉检测:环境光太强,结构光点云全是噪点怎么办?
开发语言·人工智能·数码相机·计算机视觉·3d·视觉检测·工业相机
threelab1 天前
Three.js 3D 饼图效果 | 三维可视化 / AI 提示词
javascript·人工智能·3d
bzmK1DTbd2 天前
OpenGL与Java:JOGL库的3D图形渲染实战
java·3d·图形渲染
动恰客流管家3 天前
动恰3DV3丨2026年实体商业数字化转型:客流数据是第一生产力——全场景智慧客流解决方案
大数据·人工智能·3d·性能优化
charlie1145141913 天前
通用GUI编程技术——图形渲染实战(四十)——深度缓冲与3D变换:从平面到立体
开发语言·c++·平面·3d·图形渲染·win32
cy_cy0024 天前
互动滑轨屏如何优化参观动线?
科技·3d·人机交互·交互·软件构建
Coovally AI模型快速验证4 天前
CVPR 2026|PanDA:首个多模态3D全景分割的无监督域适应框架
人工智能·3d·视觉检测·工业质检
AGV算法笔记4 天前
CVPR 2024顶级SLAM论文精读:SplaTAM如何用3D高斯实现稠密RGB-D SLAM?
深度学习·3d·机器人视觉·slam·三维重建
hhhhhh_we4 天前
皮肤人格的工程化实现:预颜美历如何用3D点云与循环神经网络构建数字孪生人格
图像处理·人工智能·rnn·深度学习·神经网络·3d·产品运营