Android 音视频编解码 -- MediaCodec

引言

如果我们只是简单玩一下音频、视频播放,那么使用 MediaPlayer + SurfaceView 播放就可以了,但如果想加个水印,加点其他特效什么的,那就不行了;

学习 Android 自带的硬件码类 -- MediaCodec。

MediaCodec 介绍

在Android中是使用MediaCodec类进行编解码。

MediaCodec是什么呢?

MediaCodec是Android提供的用于对音视频进行编码(压缩)和解码(解压缩)的类,它通过访问底层的codec来实现编解码的功能。

比如你要把摄像头的视频yuv数据编码为h264/h265,pcm编码为aac,h264/h265解码为yuv,aac解码为pcm等等。MediaCodec是Android 4.1 API16引入的,在Android 5.0 API21加入了异步模式。

通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用;

数据交换

可以看到,MediaCodec 的数据分为两个部分,从数据的输入编解码后的数据的输出

input: MediaCodec 会通过getInputBuffer(int bufferId) 去拿到一个空的 ByteBuffer , 用来给客户端去填入数据(比如解码,编码的数据),MediaCodec 会用这些数据进行解码/编码处理。

output : MediaCodec 会把解码/编码的数据填充到一个空的 buffer 中,然后把这个填满数据的buffer给到客户端,之后需要释放这个 buffer,MediaCodec 才能继续填充数据。

MediaCodec 内部使用异步的方式对 input 和 output 进行数据处理,MediaCodec 会把 input 的数据处理好给到 output,共用户去渲染;

注意!output 的数据必须释放,不然会影响下一次的数据填充。

数据类型

编码器共支持3中数据类型:

  • 压缩数据
  • 原始视频数据
  • 原始音频数据

这三种数据都是可以通过 ByteBuffer 去处理;但是你可以使用 Surface 去解析原始的视频数据,Surface 使用底层的视频缓冲,而不是映射或拷贝到 ByteBuffer,这样会大大提高编码效率。

但使用 Surface 时,无法访问到原始的视频数据,所以,你可以使用 ImageReader 来访问未加密的解码(原始)数据。在 ByteBuffer 的模式下,你也可以使用 Image 或者 getInput/OutputImage(int) 来获取原始视频帧。

编解码的生命周期

Stopped,Executing 和 Released

Stopped 和 Executing 都有各自的生命周期:

  • Stopped:Error、Uninitialized 和 Configured

当调用 MediaCodec 时,此时会处于 Uninitialized 状态,当调用 configure 之后,就会处于 Configured 状态;然后调用 start() 进入 Executing 状态,接着就可以处理数据了。

  • Executing:Flushed、Running 和 End of Stream

当调用 start() 就会进入 Executing 下的 Flushed 状态,此时会拿到所有的 buffers,当第一帧数据从 dequeueInoutBuffer 队列流出时,就会进入 Running 状态,大部分时间都在这个状态处理数据,当队列中有 end-of-stream 标志时,就会进入 End of Stream 状态,此时不再接收 input buffer,但是会继续生成 output buffer,直到 output 也接收到 end-of-stream 标志。你可以使用 flush() 重新回到 Flushed 状态。

生命周期图:

可以使用 stop() 方法回到 Uninitialized 状态;当不再使用 MediaCodec ,还需要使用 release() 去释放该资源。

MediaCodec 的主要 API 如下:

getInputBuffers:获取需要编码数据的输入流队列,返回的是一个ByteBuffer数组 ,已弃用

queueInputBuffer:输入流入队列

dequeueInputBuffer:从输入流队列中取数据进行编码操作

getOutputBuffers:获取编解码之后的数据输出流队列,返回的是一个ByteBuffer数组 ,已弃用

dequeueOutputBuffer:从输出队列中取出编码操作之后的数据

releaseOutputBuffer:处理完成,释放ByteBuffer数据

使用

输入缓冲区

1、手动把数据输入缓冲区 参考下面文章:

Android 音视频编解码(二) -- MediaCodec 解码(同步和异步)_mediacodec config textureview-CSDN博客

2、Surface createInputSurface() 把数据给到surface 就行,surface 自动作为输入缓冲区**(简单)**

输出缓冲区输出编码后的数据,然后封装 XXX、mp4 文件(封装格式文件)

过程: 原始数据 --->编码 --->压缩数据 ---> x x x.mp4 文件

难点: 输入缓冲区 ---> opengl 着色器执行后的数据 ---> surface

这里难点就是 怎么把数据绘制到surface 怎么绘制,以什么样的规则。。。。。。

这里就引出EGL。

opengl 着色器执行后的数据 --- 》【EGL】 ----》surface

EGL的由来

OpenGL作为一个图形化API,允许我们操作GPU以绘制图形,但是当涉及到本地的窗口时,就需要一个与平台无关的API来与之进行交互,EGL应运而生,承担起OpenGl和原生窗口系统之间桥梁的作用。

如图:

EGL 知识点 看该篇: Android 音视频 --- EGL介绍和使用-CSDN博客

相关推荐
安卓理事人8 小时前
安卓LinkedBlockingQueue消息队列
android
万能的小裴同学10 小时前
Android M3U8视频播放器
android·音视频
q***577410 小时前
MySql的慢查询(慢日志)
android·mysql·adb
JavaNoober10 小时前
Android 前台服务 "Bad Notification" 崩溃机制分析文档
android
城东米粉儿11 小时前
关于ObjectAnimator
android
zhangphil12 小时前
Android渲染线程Render Thread的RenderNode与DisplayList,引用Bitmap及Open GL纹理上传GPU
android
火柴就是我13 小时前
从头写一个自己的app
android·前端·flutter
lichong95114 小时前
XLog debug 开启打印日志,release 关闭打印日志
android·java·前端
用户693717500138414 小时前
14.Kotlin 类:类的形态(一):抽象类 (Abstract Class)
android·后端·kotlin
火柴就是我15 小时前
NekoBoxForAndroid 编译libcore.aar
android