深入理解MediaCodec：MediaCodecList

满嘴跑火车的小土匪2023-11-13 17:51

存稿。本篇主要解析 MediaCodecList，学习如何分析厂商的编解码硬件的性能。

个人在音视频方面没有什么建树，只能提供一些学习思路:

推荐关注博客：

雷霄骅：非常全面的 FFmpeg 入门教程。

也可以看一下笔者的几篇博客：

图像存储策略：Packed与Planar

像素格式：YUV

FFmpeg：编译（Windows）

推荐关注两个开源项目：

WebRTC

跨平台项目，C/C++ 实现，有 Java 接口，支持视频、音频通信，看过部分源码，在 Android 端，主要还是通过 MediaCodec 利用硬件进行编解码。

FFmpeg

一个用于录制、转换和流式传输音频和视频的完整的跨平台解决方案。主要是 c 实现，没有 Java 接口，但可以通过封装 JNI 进行调用。它主要支持软解，在核心部分通过汇编语言，通过单指令多数据（即SIMD），充分利用硬件特性进行加速。FFmpeg6.0 之后，在 Android 平台，也支持通过 MediaCodec，利用硬件进行编解码。

软解和硬解

软解主要通过 CPU 去处理，这意味着 CPU 占用高，但兼容性好。而硬解是使用专用硬件（而非通用的 CPU）来编解码音视频，但不同的厂商提供的硬解硬件参差不齐，比如，很多只支持 h264，不支持 h265，支持的视频分辨率也有差异。

所以，方案选择上，我们可以优先用硬解，不行再降级为软解.

MediaCodecList

MediaCodecList是系统支持的编/解码器(codec)的信息列表，通过加载厂家配置好的media_codecs.xml、media_codecs_performance.xml生成，便于我们分析系统的编/解码器的硬件性能。

编/解码器按照设备制造商定义的首选顺序列在MediaCodecList中。因此，应用程序应使用列表中第一个合适的编/解码器，以实现功耗和性能之间的最佳平衡。

MediaCodecList的使用

有些人可能习惯通过MediaCodec的createDecoderByType(String type)和createEncoderByType(String type)直接初始化对应的编/解码器。

但官方更推荐通过MediaCodecList的findEncoderForFormat/findDecoderForFormat，选择最合适的编/解码器。下面展示如何通过MediaCodecList的findDecoderForFormat，初始化一个宽为1920，高为1080的h264视频的解码器。

ini 复制代码 
MediaCodecList mediaCodecList = new MediaCodecList(MediaCodecList.REGULAR_CODECS);
MediaFormat videoFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 1920, 1080);
String name = mediaCodecList.findDecoderForFormat(videoFormat);
MediaCodec codec = null;
try {
    codec = MediaCodec.createByCodecName(name);
} catch (IOException e) {
    e.printStackTrace();
}

media_codecs.xml

media_codecs.xml提供编/解码器的一些基本信息。通过它，我们可以了解到编/解码器支持的视频分辨率、宽高对齐要求等等信息。

获取

media_codecs.xml可以通过adb命令获取：

bash 复制代码 
adb shell cat /system/etc/media_codecs.xml
或者
adb shell cat /vendor/etc/media_codecs.xml

也可以通过Android Studio的Device File Explorer在对应的文件夹下找到，双击打开即可浏览：

bash 复制代码 
/system/etc/media_codecs.xml
或者
/vendor/etc/media_codecs.xml

内容

xml 复制代码 
<MediaCodecs>
    <!-- 编码器  -->
    <Encoders>
        <!-- Video Hardware  -->
        <MediaCodec name="OMX.qcom.video.encoder.avc" type="video/avc" >
            <Limit name="size" min="96x96" max="4096x2304" />
            <Limit name="alignment" value="2x2" />
            <Limit name="block-size" value="16x16" />
            <Limit name="blocks-per-second" min="36" max="1958400" />
            <Limit name="bitrate" range="1-160000000" />
            <Limit name="frame-rate" range="1-480" />
            <Limit name="concurrent-instances" max="16" />
            <Limit name="performance-point-4096x2304" value="56" />
            <Limit name="performance-point-1920x1080" value="240" />
            <Limit name="performance-point-1280x720" value="480" />
        </MediaCodec>
        ...
    </Encoders>
    <!-- 解码器  -->
    <Decoders>
        ...
    </Decoders>
<MediaCodecs>

这是一个小米平板的media_codecs.xml的部分内容。比较关键的信息是：

  • size：支持的宽高。min是最小宽高，max是最大宽高。
  • alignment：宽高的对齐要求。硬解的对齐要求，根据编解码的格式、不同厂商的设备而不同。"2x2"表示，宽、高都必须是2的倍数，否则可能导致编码失败、视频有黑边等情况。
  • block-size：即宏块大小。很多视频格式，比如h264、mpeg2等，都是基于宏块的格式。
  • blocks-per-second：宏块每秒的处理数。
  • bitrate：支持的比特率范围。
  • frame-rate：支持的帧率范围。
  • concurrent-instances：并发实例。这里表示最多支持16个编码器并发。
  • performance-point-* ：表示分辨率支持的最高帧率。

解码器的信息与编码器基本一致，这里不再一一列举。

编码

media_codecs.xml加载到内存后，就是MediaCodecList的一部分。MediaCodecList的本质是一个MediaCodecInfo数组，每个MediaCodecInfo对应一个编/解码器的信息。

通过一个日志打印函数，简单介绍一下如何MediaCodecInfo获取media_codecs.xml对应的信息：

scss 复制代码 
private void printMediaCodecInfo(MediaCodecInfo info, String type) {
        MediaCodecInfo.CodecCapabilities capabilitiesForType = info.getCapabilitiesForType(type);
        MediaCodecInfo.VideoCapabilities vc = capabilitiesForType.getVideoCapabilities();

        StringBuilder builder = new StringBuilder();
        builder.append("MediaCodecInfo: \n")
                .append("width = ").append(vc.getSupportedWidths()).append(", ")
                .append("height = ").append(vc.getSupportedHeights()).append("\n")
                .append("widthAlignment = ").append(vc.getWidthAlignment()).append(", ")
                .append("heightAlignment = ").append(vc.getHeightAlignment()).append("\n")
                .append("bitrateRange = ").append(vc.getBitrateRange()).append(",  ")
                .append("supportedFrameRates = ").append(vc.getSupportedFrameRates());
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
            builder.append("\n");
            builder.append("PerformancePoints = [\n");
            int size = vc.getSupportedPerformancePoints().size();
            for (int i = 0; i < size; i++) {
                builder.append("    ");
                builder.append(vc.getSupportedPerformancePoints().get(i));
                builder.append(i < size - 1?",\n":"\n");
            }
            builder.append("]");
        }
        Log.d(TAG, builder.toString());
    }

我们传入一个MediaCodecInfo实例和MediaFormat.MIMETYPE_VIDEO_AVC(即H.264)后，日志打印结果如下：

ini 复制代码 
MediaCodecInfo: 
width = [96, 4096], height = [96, 2304]
widthAlignment = 2, heightAlignment = 2
bitrateRange = [1, 160000000], supportedFrameRates = [1, 480]
PerformancePoints = [
    PerformancePoint(4096x2304@56),
    PerformancePoint(4096x2160@60),
    PerformancePoint(3840x2160@60),
    PerformancePoint(1920x1088@240),
    PerformancePoint(1280x720@480)
]

可以看到日志输出和我们之前在media_codecs.xml看到的信息一致。

media_codecs_performance.xml

获取

与media_codecs.xml类似。主要记录编/解码器的一些性能测试数据，让我们比较直观地了解到编/解码器的性能优劣。

内容

xml 复制代码 
<MediaCodecs>
    <Encoders>
        <MediaCodec name="OMX.qcom.video.encoder.avc" type="video/avc" update="true">
            <Limit name="measured-frame-rate-320x240" range="238-238" />
            <Limit name="measured-frame-rate-720x480" range="277-287" />
            <Limit name="measured-frame-rate-1280x720" range="46-102" />
            <Limit name="measured-frame-rate-1920x1080" range="116-118" />
        </MediaCodec>
        ...
    </Encoders>
    <Decoders>
        ...
   </Decoders>
</MediaCodecs>
  • measured-frame-rate-* ：表示某个分辨率的视频能达到的编解码帧速率。这是设备制造商提供的性能估计，是对编解码器支持的不同配置的常见尺寸视频进行全速解码和编码测量的统计抽样。

编码

也是通过MediaCodecInfo获取。

ini 复制代码 
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
    Range<Double> achievableFrameRatesFor = vc.getAchievableFrameRatesFor(1280, 720);
}

输出结果类似：

ini 复制代码 
[1280x720] achievableFrameRate = [46.0, 102.0]

MediaCodecList初始化

MediaCodecList初始化流程图

parseXmlFilesInSearchDir()是用来搜索media_codecs.xml、media_codecs_performance.xml等文件，有默认参数，头文件声明如下：

c 复制代码 
status_t parseXmlFilesInSearchDirs(
            const std::vector<std::string> &xmlFiles = getDefaultXmlNames(),
            const std::vector<std::string> &searchDirs = getDefaultSearchDirs());

getDefaultXmlNames()和getDefaultSearchDirs()如下：

c 复制代码 
std::vector<std::string> MediaCodecsXmlParser::getDefaultXmlNames() {
    static constexpr char const* prefixes[] = {
            "media_codecs",
            "media_codecs_performance"
        };
    static std::vector<std::string> variants = {
            android::base::GetProperty("ro.media.xml_variant.codecs", ""),
            android::base::GetProperty("ro.media.xml_variant.codecs_performance", "")
        };
    static std::vector<std::string> names = {
            prefixes[0] + variants[0] + ".xml",
            prefixes[1] + variants[1] + ".xml",

            // shaping information is not currently variant specific.
            "media_codecs_shaping.xml"
        };
    return names;
}

static std::vector<std::string> getDefaultSearchDirs() {
   return { "/product/etc",
            "/odm/etc",
            "/vendor/etc",
            "/system/etc" };
}

MediaCodecList初始化源码流程概览

MediaCodecList.java

└─MediaCodecList()

└──initCodecList()

└───android_media_MediaCodecList.cpp

└────android_media_MediaCodecList_getCodecCount()

└──────getCodecList()

└───────MediaCodecList.cpp

└────────getInstance()

└─────────MediaPlayerService.cpp

└──────────getCodecList()

└───────────MediaCodecList.cpp

└────────────getLocalInstance()

└─────────────MediaCodecList()

└──────────────Codec2InfoBuilder.cpp

└───────────────buildMediaCodecList()

└────────────────MediaCodecsXmlParser.cpp

└─────────────────parseXmlFilesInSearchDirs()

└──────────────────parseXmlPath()

└───────────────────parseXmlFile()

结语

在 Android 平台，我们可以通过 MediaCodecList 这个类去检测设备支持的分辨率、帧率（本质就是读取media_codec.xml），对硬解条件不同的设备进行编码适配。

参考资料

深入理解Android MediaCodec（一）初始化流程

【MediaCodec】配置文档查看（一）

相关推荐
姑苏风3 小时前
《Kotlin实战》-附录
android·开发语言·kotlin
数据猎手小k7 小时前
AndroidLab:一个系统化的Android代理框架，包含操作环境和可复现的基准测试，支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
你的小107 小时前
JavaWeb项目-----博客系统
android
风和先行8 小时前
adb 命令查看设备存储占用情况
android·adb
AaVictory.8 小时前
Android 开发 Java中 list实现 按照时间格式 yyyy-MM-dd HH:mm 顺序
android·java·list
似霰9 小时前
安卓智能指针sp、wp、RefBase浅析
android·c++·binder
大风起兮云飞扬丶9 小时前
Android——网络请求
android
干一行，爱一行9 小时前
android camera data -＞ surface 显示
android
断墨先生10 小时前
uniapp—android原生插件开发（3Android真机调试）
android·uni-app
无极程序员11 小时前
PHP常量
android·ide·android studio
热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【TC3xx芯片】TC3xx芯片电源管理系统PMS详解05基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测06【经验分享】Ubuntu22.04安装微信(linux官方版)07Macbook pro M1 安装Ubuntu教程08RAG 实践- Ollama+RagFlow 部署本地知识库09Windows10安装PCL1.14.0及点云配准10文件或文件夹名称中有空格如何批量去除