Opengl和MediaCodec的常见使用

一：综述

在Android中使用MediaCodec进行视频解码，将解码完成之后的视频解码到opengl的环境中，使用Opengl进行绘制，增加特效，多层显示控制等常见用法。

在一些Camera的应用中，进行滤镜或者对相机数据进行处理之后需要将视频数据录制出来，因为采用了Opengl进行滤镜显示，数据其实都已经送到了opengl环境中了，所以想要录制数据，需要将opengl中的纹理送到MediaCodec才能进行录制，所以需要配置Opengl和MediaCodec的联系，实现录制

二：MediaCodec解码视频和使用Opengl渲染

在Android中使用MediaCodec进行视频解码，解码输出到Opengl的环境中进行渲染，需要向MediaCodec 配置一个Surface，从而数据渲染到Surface上时，进一步通知渲染模块进行渲染。关键步骤在如何把解码和渲染中间联系起来，简单步骤如下：

1：opengl线程中创建OES纹理----->2：OES纹理作为参数，创建SurfaceTexture和Surface，并为Surface创建Listener ---------->3:将Surface设置给MeidaoCodec，根据业务流程启动解码----->4：解码完成，控制是否将数据渲染到surface上 ---->5:opengl 环境下的进行渲染

此处不具体展开具体的解码过程中的一些注意问题，如音视频同步，解封装mp4文件，创建opengl的program，以及shader脚本等前后问题，着重只介绍创建解码数据到opengl环境中渲染的关键几个步骤，

根据上面的流程我们把具体代码贴出来展示如下：

arduino 复制代码

    private String videoPath;
    private MediaCodecController mediaCodecController;//MediaoCodec的管理对象实例
    private PlayVideo playVideoFilter;//创建的Opengl实例
//1：创建OES纹理，此处创建必须在opengl的thread中，在非opengl的thread中创建不会成功
//2：
@Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {
        Log.i(TAG,"onSurfaceCreated");

        //先设置用于显示的纹理iD,这个是当前gl环境下产生的 纹理
        int oesTexture = createOESTexture();
        Log.i(TAG,"onSurfaceCreated oesTexture");
        mediaCodecController.setOesTexture(oesTexture);
        //设置要播放视频地址
        mediaCodecController.setCodecParams(videoPath);
        //创建oepngl的渲染程序
        playVideoFilter = new PlayVideoFilter(mContext);
        playVideoFilter.init();
    }

创建纹理成功之后，将纹理设置给到了mediaCodecController对象，mediaCodecController对象管理MediaCodec的实例，在收到纹理Id之后进行创建Surface

typescript 复制代码

  private int mOesTextureId = -1;
  private SurfaceTexture mVideoSurfaceTexture ;
  private Surface mDecodeSurface = null;
//2：mediaCodecController对象使用opengl创建的纹理作为入参创建Surface，此处在任何线程均可执行
private void createSurface(){
    mVideoSurfaceTexture = new SurfaceTexture(mOesTextureId);
    mDecodeSurface= new Surface(mVideoSurfaceTexture);
    //指定mHandler为解码完成数据时的回调线程
    mVideoSurfaceTexture.setOnFrameAvailableListener(new SurfaceTexture.OnFrameAvailableListener(){
        @Override
        public void onFrameAvailable(SurfaceTexture surfaceTexture) {
            if(frameAvailable != null){
                frameAvailable.onFrameAvailable(surfaceTexture);
            }
        }
    },mHandler);
}
  
//3：将第二步设置的Surface设置给到MediaCodec，设置完成即可启动解码
 private void initMediaCodec(){
        try {
            mMediaCodec = mMediaCodec.createDecoderByType("video/avc"); // 使用AVC解码器
            // 设置输出颜色格式为Surface ，videoMediaFormat还可以设置其他属性
            videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatRGBFlexible); 
            //Surface是使用opengl的纹理创建出来的Surface,所以MediaCodec解码输出数据就输出到了opengl环境中创建的纹理上了
            mMediaCodec.configure(videoMediaFormat, mDecodeSurface, null, 0); // 将格式配置应用到解码器
            mMediaCodec.start();
        } catch (IOException e) {
        }
    }

前面启动了解码之后就需要启动解码，解码采用MediaCodec的同步解码方式，解码完成之后会将数据控制是否渲染到纹理上

arduino 复制代码

//解码完成，将数据根据PTS进行1s中的渲染，releaseOutputBuffer就会将数据释放，通知到 mVideoSurfaceTexture中的设置的Listener中
private void getOutPutBuffer(){
         if(!outputDone){
                info = new MediaCodec.BufferInfo();
                int decoderStatus = mMediaCodec.dequeueOutputBuffer(info, TIMEOUT_USEC);
                if (decoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {
                    // no output available yet
                    Log.i(TAG, "no output from decoder available");
                } else if (decoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
                    // not important for us, since we're using Surface
                     Log.i(TAG, "decoder output buffers changed");
                } else if (decoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                    MediaFormat newFormat = mMediaCodec.getOutputFormat();
                     Log.i(TAG, "decoder output format changed: " + newFormat);
                } else if (decoderStatus < 0) {
                    Log.i(TAG,"unexpected result from decoder.dequeueOutputBuffer: " + decoderStatus);
                }else {
                    outputChunk++;
                     Log.i(TAG, outputChunk + " frame surface decoder given buffer " + decoderStatus +
                            " (size=" + info.size + ")" +",pts = " + info.presentationTimeUs);
                    if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                        Log.i(TAG, "output EOS");
                        outputDone = true;
                    }

                   sleepRender(info, startDecodeTime);
                   boolean doRender = (info.size != 0);
                   mMediaCodec.releaseOutputBuffer(decoderStatus, doRender);
                }
            }
}
 private void sleepRender(MediaCodec.BufferInfo audioBufferInfo, long startMs) {
        long beging = System.currentTimeMillis() - startMs;
        while (audioBufferInfo.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs ) {
            try {
                // 10 毫秒
                Thread.sleep(10);
            } catch (InterruptedException e) {
                e.printStackTrace();
                break;
            }
        }
    }

在收到帧可用的回调之后，对视频进行帧绘制，绘制的程序就是之前初始化好的 playVideoFilter中，playVideoFilter中会根据之前创建的需要的渲染方式进行逐帧绘制

ini 复制代码

    @Override
    public void onDrawFrame(GL10 gl) {
        if(!isUpdateVideo){
            Log.i(TAG,"onDrawFrame but flag is Wrong");
            return;
        }
        needUpdateSurfaceTexture.updateTexImage();
        needUpdateSurfaceTexture.getTransformMatrix(textureMatrix);
        playVideoFilter.setTextureTransformMatrix(textureMatrix);
        playVideoFilter.onDrawFrame(oesTextureId);
        isUpdateVideo= false;
    }

三：总结

编解码和Opengl实现关联的关键就是在Opengl的环境中创建好纹理，（在Android中使用的是OES纹理，不是普通的2D Texture）将此纹理作为入参创建Surface，并将Surface和Mediacodec关联起来就能实现MediaCodec解码，然后Opengl渲染。但是Opengl程序的创建，以及MediaCodec的使用请关注另外的一片介绍