android 媒体框架之MediaCodec

一、MediaCodec 整体架构与设计思想

MediaCodec 是 Android 底层多媒体框架的核心组件,负责高效处理音视频编解码任务。其架构采用 生产者-消费者模型,通过双缓冲区队列(输入/输出)实现异步数据处理:

  • 输入缓冲区队列:存放待编码/解码的原始数据(如 YUV 视频帧或 PCM 音频)。
  • 输出缓冲区队列:存储处理后的数据(如 H.264 流或解码后的原始帧)。
  • 硬件加速支持:优先调用设备专属编解码器(如高通 DSP),显著降低 CPU 负载。

二、核心组件与关键 API 详解

1. 编解码器实例(MediaCodec)
  • 创建方式 :

    java 复制代码
    // 创建解码器(H.264 示例)
    MediaCodec decoder = MediaCodec.createDecoderByType("video/avc");
    // 创建编码器(AAC 音频示例)
    MediaCodec encoder = MediaCodec.createEncoderByType("audio/mp4a-latm");

    支持通过 MIME 类型(如 video/avc)或硬件编解码器名称创建。

2. 缓冲区管理
  • 输入缓冲区 :
    • dequeueInputBuffer(timeoutUs):获取空闲缓冲区索引。
    • getInputBuffer(index):通过索引获取 ByteBuffer 对象填充数据。
    • queueInputBuffer(...):提交数据给编解码器处理。
  • 输出缓冲区 :
    • dequeueOutputBuffer(BufferInfo, timeoutUs):获取处理完成的缓冲区索引及元数据。
    • getOutputBuffer(index):读取编解码后数据。
    • releaseOutputBuffer(index, render):释放缓冲区(若为视频,render=true 可触发渲染)。
3. 配置与状态控制
  • 配置参数(MediaFormat) :

    java 复制代码
    MediaFormat format = MediaFormat.createVideoFormat("video/avc", width, height);
    format.setInteger(MediaFormat.KEY_BIT_RATE, 5000000);  // 码率
    format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);     // 帧率
    format.setInteger(KEY_COLOR_FORMAT, COLOR_FormatYUV420Flexible); // 颜色空间
    codec.configure(format, surface, null, 0); // surface 用于视频渲染
  • 生命周期控制 :

    • start() → 进入运行状态(Running)。
    • stop() → 回到未初始化状态(Uninitialized)。
    • release() → 释放资源。

三、核心类 MediaCodec.BufferInfo 深度解析

BufferInfo 是描述输出缓冲区元数据的关键类,包含以下字段:

字段 类型 作用
offset int 有效数据在缓冲区中的起始偏移(字节)。通常为 0,表示从缓冲区头部开始读取。
size int 有效数据长度(字节)。若为 0 且含 BUFFER_FLAG_END_OF_STREAM,表示流结束。
presentationTimeUs long 呈现时间戳(微秒),用于音视频同步(如视频帧的渲染时机)。
flags int 缓冲区标志位(位掩码),关键值包括:
(0) : B or P 帧
- BUFFER_FLAG_KEY_FRAME(1):关键帧(I帧)。
- BUFFER_FLAG_END_OF_STREAM(4):流结束标记(EOS)。
- BUFFER_FLAG_CODEC_CONFIG(2):编解码配置数据(如 SPS/PPS)。

典型使用场景:

java 复制代码
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
int outputIndex = codec.dequeueOutputBuffer(bufferInfo, timeoutUs);
if (outputIndex >= 0) {
    ByteBuffer outputBuffer = codec.getOutputBuffer(outputIndex);
    byte[] data = new byte[bufferInfo.size];
    outputBuffer.position(bufferInfo.offset);
    outputBuffer.get(data, 0, bufferInfo.size);
    
    // 关键帧处理
    if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_KEY_FRAME) != 0) {
        saveKeyFrame(data); // 存储关键帧用于错误恢复
    }
    codec.releaseOutputBuffer(outputIndex, true);
}

四、工作流程与状态机

  • 关键状态 :
    • Flushed:启动后初始状态,缓冲区为空。
    • Running:持续处理数据(90% 时间处于此状态)。
    • End-of-Stream:输入流结束,等待输出剩余数据。

五、注意

  1. 同步 vs 异步模式:

    • 同步模式:简单但易阻塞主线程,适合低复杂度场景。
    • 异步模式 :通过 setCallback() 监听事件,高效但需处理线程安全。
  2. 缓冲区复用:避免频繁申请内存,提升性能(尤其高清视频)。

  3. 设备兼容性:

    • 使用 MediaCodecList 检查编解码器支持情况。
    • 某些设备对 COLOR_FORMAT 支持有限,需动态适配。
  4. MediaCodec 通过双缓冲区队列 和状态机控制 实现高效编解码,核心在于:

    缓冲区管理:dequeueInputBuffer/queueInputBuffer 与 dequeueOutputBuffer/releaseOutputBuffer 的配对使用。

  5. 元数据解析:BufferInfo 的 flags 和 presentationTimeUs 是同步与错误恢复的关键。

  6. 硬件加速:优先选择设备专属编解码器(如 OMX.qcom. 前缀)以优化性能。

相关推荐
光电笑映4 小时前
TCP 为什么可靠?从三次握手、滑动窗口到拥塞控制全面拆解(下)
linux·网络·网络协议·tcp
FungLeo6 小时前
FengCMS · PHP+MySQL 升级实录 · 危险默认值之殇:root/123456、认证码 8888 写进配置加载器
android·mysql·php·安全加固·fengcms
yz_aiks6 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
如夏倾城10 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
LabVIEW开发11 小时前
LabVIEW 用 25 ns 精度捕捉赛车发动机共振
网络·labview·labview知识·labview功能·labview程序
赤生云电竞13 小时前
云游戏边缘节点部署实践:机房选址与网络拓扑选型
网络·游戏·php
ITxiaobing202314 小时前
中国广告技术公司海外反欺诈中的 IP 应用:从“库查询”到“多层信号”
网络·tcp/ip·web安全
安易算力14 小时前
智算中心网络架构选型:RDMA/IB/以太网深度对比与落地实践
网络·架构
booboosui14 小时前
编号没变,消息还是来了:Mac 端通知读取漏第二条的原因
android
2401_8685347814 小时前
天融信网络安全面试题
服务器·网络