[6]Opengl ES预览摄像头

术语:

VertexShader:顶点着色器,用来描述图形图像位置的顶点坐标;

FragmentShader:片元着色器,用来给顶点指定的区域进行着色;

Vertex:顶点

Texture:纹理,给顶点区域进行渲染的材质,比如图像等;

这一节通过前面学习的知识,我们直接采用纹理用Opengl ES来对摄像头进行预览,要实现这个功能,需要解决如下问题:

1)摄像头数据怎么采集到纹理?

2)摄像头数据更新时怎么收到通知?

3)采集到的摄像头数据纹理渲染到屏幕?

首先,我们要明白,摄像头采集到的视屏数据格式一般是YUV的,而Opengl ES能处理的数据是RGB格式的,那怎么样直接到把摄像头数据采集到纹理呢?还记得前面我们讲过,Opengl ES2.0有两种类型的纹理:GL_TEXTURE_2D和GL_TEXTURE_EXTERNAL_OES。而GL_TEXTURE_EXTERNAL_OES这种类型纹理就是处理这种格式转换的,摄像头采集的数据可以直接放到GL_TEXTURE_EXTERNAL_OES这种类型的纹理。

解决了摄像头数据映射纹理的问题,下面看下实现Opengl ES预览摄像头数据的流程图:

  1. 没错,SurfaceTexture就是摄像头到纹理的数据通道,通过把承载纹理的SurfaceTexture对象设置给摄像机Camera,在底层Camera就会源源不断的把数据采集到SurfaceTexture承载的纹理上,关键代码如下:

int textureId = GLES20.glGenTexture();

SurfaceTexture texSurface = new SurfaceTexture(textureId);

camear.setSurfaceTexture(texSurface);

老规矩,上面的代码仅仅是说明流程的伪代码,详细代码看对应工程的说明。

  1. 摄像头对应的数据映射到纹理后,接下来我们要接收摄像头源源不断的一帧一帧的数据,通过给SurfaceTexture设置侦听回调接口,当有摄像头数据到达时,我们可以收到通知,代码片段如下:

texSurface.setFrameAvaiableListenre();

  1. 收到数据到达消息后,需要通过调用texSurface.updateTexImage()来把数据更新到纹理,这里要注意,不能直接在回调接口调用此方法,因为这个方法不一定是创建纹理的线程调用,换句话说,此方法必须在创建纹理的线程里调用,具体为什么前面讲过了,这里再提一下,因为涉及到Opengl ES的API调用都必须在当前线程关联的EGLContext上操作,因为EGLContext保存了所有调用的状态,好看,下面是代码片段:

  2. 把纹理渲染到屏幕,这里流程和渲染一般的纹理差不多,区别就是片元着色器里的纹理对象是samplerExternalOES,而不是普通的sampler2D,片元着色器代码如下:

#extension GL_OES_EGL_image_external : require

precision mediump float;

uniform samplerExternalOES texture; // 定义扩展的的纹理取样器

varying vec2 vTexCoor;

void main ()

{

vec4 color = texture2D(texture, vTexCoor);

gl_FragColor = color;

}

到这里,我们就完成了使用Opengl ES的纹理来实现摄像头的视屏预览功能,接下来的章节,我会在此基础上采用FBO实现以及摄像头在多个Surface上预览等功能。

相关推荐
DianSan_ERP1 小时前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库2 小时前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全
AI周红伟2 小时前
周红伟:智能体全栈构建实操:OpenClaw部署+Agent Skills+Seedance+RAG从入门到实战
大数据·人工智能·大模型·智能体
B站计算机毕业设计超人3 小时前
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
计算机程序猿学长3 小时前
大数据毕业设计-基于django的音乐网站数据分析管理系统的设计与实现(源码+LW+部署文档+全bao+远程调试+代码讲解等)
大数据·django·课程设计
B站计算机毕业设计超人3 小时前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城3 小时前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
中烟创新3 小时前
灯塔AI智能体获评“2025-2026中国数智科技年度十大创新力产品”
大数据·人工智能·科技
璞华Purvar4 小时前
2026智造升级|从配方到生产,从协同到合规——璞华易研PLM赋能制造企业全链路升级
大数据·人工智能
Gofarlic_oms14 小时前
避免Kisssoft高级分析模块过度采购的科学评估方法
大数据·linux·运维·人工智能·matlab