【Part 2安卓原生360°VR播放器开发实战】第二节｜基于等距圆柱投影方式实现全景视频渲染

《VR 360°全景视频开发》专栏

将带你深入探索从全景视频制作到Unity眼镜端应用开发的全流程技术。专栏内容涵盖安卓原生VR播放器开发、Unity VR视频渲染与手势交互、360°全景视频制作与优化，以及高分辨率视频性能优化等实战技巧。

📝 希望通过这个专栏，帮助更多朋友进入VR 360°全景视频的世界！

Part 2｜安卓原生360°VR播放器开发实战

在安卓平台上开发一个高性能的360°VR视频播放器，是提升VR体验的关键。本部分内容将详细介绍如何利用安卓原生技术（如 MediaCodec、OpenGL ES）实现视频解码和渲染，如何优化播放器性能，并介绍如何进行不同 VR 设备的适配，确保你能够为不同的用户提供流畅的播放体验。

第一节｜通过传感器实现VR的3DOF效果

地址：【Part 2安卓原生360°VR播放器开发实战】第一节｜通过传感器实现VR的3DOF效果

第二节｜基于等距圆柱投影方式实现全景视频渲染

在360°VR视频的渲染中，最常见的视频格式是等距圆柱投影（Equirectangular Projection）。

这类全景视频通常以 2:1 的比例呈现，把球面坐标映射到一个矩形平面上，

在VR播放时，需要将视频正确投射到一个内表面的球体上，形成沉浸式体验。

这一节，我们将使用ExternalTexture结合MediaPlayer播放360°全景视频。

1. 外部纹理ExternalTexture

在Sceneform-EQR(基于Filament)中，ExternalTexture 是一个允许与外部纹理进行交互的对象，它使得开发者能够将外部资源（如外部图像、视频帧等）直接加载到渲染引擎中并作为纹理使用。

ExternalTexture 在涉及视频渲染或动态纹理时非常有用。例如，开发者可以通过此机制将视频帧直接作为纹理绑定到3D模型上。也可以用于实现与其他图形引擎或硬件交互时，将其纹理无缝导入。

2. MediaPlayer的绑定流程

基本思路是：

创建一个ExternalTexture对象，用来承载视频流。
使用MediaPlayer播放本地视频，并把输出Surface设置为ExternalTexture的Surface。
当视频尺寸变化时，动态调整SurfaceTexture的默认缓冲区大小。
通过加载自定义材质，将ExternalTexture绑定到球体Renderable模型。
监听首帧回调，等视频第一帧渲染完成后，把模型挂载到场景中。

3. 全景视频播放流程简易时序

复制代码

[创建 ExternalTexture] 
        ↓
[Handler线程执行]
        ↓
[初始化 MediaPlayer]
        ↓
[设置Surface为ExternalTexture.getSurface()]
        ↓
[MediaPlayer onPrepared -> start播放]
        ↓
[MediaPlayer onVideoSizeChanged -> 设置SurfaceTexture缓冲大小]
        ↓
[加载材质 external_chroma_key_video_material]
        ↓
[绑定 ExternalTexture 到材质 videoTexture 参数]
        ↓
[构建内包裹球体 GeometryUtils.makeInnerSphere]
        ↓
[监听SurfaceTexture首帧回调 -> 设置Node渲染Renderable]

4. 核心代码解析

项目已开源，源码地址：VRScene360Activity.java

4.1 外部纹理与MediaPlayer的初始化

在 MediaPlayer 播放过程中，视频每一帧会通过 ExternalTexture 自动同步到后续的材质上。

java 复制代码

texture = new ExternalTexture();
EngineInstance.getHandler().post(() -> {
    mediaPlayer = MediaPlayer.create(context, R.raw.vr_video4);
    mediaPlayer.setOnPreparedListener(mp -> {
        mp.setSurface(texture.getSurface());
        mp.setLooping(true);
        mp.start(); // 自动播放
    });
    mediaPlayer.setOnVideoSizeChangedListener((mp, width, height) -> {
        if (texture != null) {
            texture.getSurfaceTexture().setDefaultBufferSize(width, height);
        }
    });
});

注意：

将MediaPlayer初始化放到Handler线程，避免主线程卡顿。
在onPrepared回调中才设置Surface，保证MediaPlayer已经准备好。
在onVideoSizeChanged时同步更新SurfaceTexture的尺寸，以避免画面拉伸。

4.2 绑定材质与构建渲染球体

这里使用了一个自定义材质external_chroma_key_video_material，支持绑定外部视频纹理。球体采用了内包裹式球体（摄像机置于球体内部观察外壳纹理），从而实现真正沉浸式的360°体验。

java 复制代码

Material.builder()
    .setSource(context, R.raw.external_chroma_key_video_material)
    .build()
    .thenAccept(material -> {
        material.setFloat4("keyColor", new Color(0,0,0,1)); // 设定色键（黑色）
        modelRenderable = GeometryUtils.makeInnerSphere(30, Vector3.zero(), material);
        modelRenderable.getMaterial().setExternalTexture("videoTexture", texture);
        
        modelRenderable.setShadowCaster(false);
        modelRenderable.setShadowReceiver(false);

        texture.getSurfaceTexture().setOnFrameAvailableListener(surfaceTexture -> {
            tempNode.setRenderable(modelRenderable);
            texture.getSurfaceTexture().setOnFrameAvailableListener(null);
        });
    })
    .exceptionally(throwable -> {
        Log.e("SimulatedVideoSkybox", "Material加载失败", throwable);
        return null;
    });

注意：

使用 makeInnerSphere() 方法生成球体，确保法线朝内。
将 ExternalTexture 设置为材质的 videoTexture。
监听 OnFrameAvailableListener，在第一帧准备好时，才设置球体到场景中，防止黑屏。

4.3 资源释放与生命周期管理

为了避免内存泄漏，播放完成或退出场景时，必须及时释放 MediaPlayer、ExternalTexture 和 ModelRenderable 资源。

java 复制代码

if (mediaPlayer != null) {
    mediaPlayer.release();
    mediaPlayer = null;
}

if (modelRenderable != null) {
    modelRenderable.tryDestroyData();
    modelRenderable = null;
}