鸿蒙（API 12 Beta3版）【视频编码】音视频编码

Android技术栈2024-08-10 15:39

开发者可以调用本模块的Native API接口，完成视频编码，即将未压缩的视频数据压缩成视频码流。

当前支持的编码能力如下：

容器规格 视频编码类型
mp4 HEVC（H.265）、 AVC（H.264）
m4a HEVC（H.265）、 AVC（H.264）

目前仅支持硬件编码，基于MimeType创建编码器时，支持配置为H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC) 和 H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)。

如果需要对HDRVivid视频进行编码，需要配置MimeType为H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)，本功能从API version 11开始支持。

通过视频编码，应用可以实现以下重点能力，包括：

支持的能力 使用简述
动态配置编码器参数，重置帧率、码率、最大和最小量化参数 通过调用OH_VideoEncoder_SetParameter()配置， 具体可参考下文中：Surface模式的步骤-10
随帧设置编码QP 通过调用OH_VideoEncoder_RegisterParameterCallback()注册随帧参数回调时配置，具体可参考下文中：Surface模式的步骤-5
分层编码，LTR设置 具体可参考：[时域可分层视频编码]
获取编码每帧平均量化参数，平方误差 在配置回调函数OnNewOutputBuffer()时获取，具体可参考下文中：Surface模式的步骤-4

限制约束

  1. buffer模式不支持10bit的图像数据。
  2. 由于硬件编码器资源有限，每个编码器在使用完毕后都必须调用OH_VideoEncoder_Destroy()函数来销毁实例并释放资源。
  3. 在调用Flush，Reset，Stop的过程中，开发者不应对之前回调函数获取到的OH_AVBuffer继续进行操作。

Surface输入与Buffer输入

  1. 两者的数据来源不同。
  2. 两者的适用场景不同。
  • Surface输入是指用OHNativeWindow来传递输入数据，可以与其他模块对接，例如相机模块。
  • Buffer输入是指有一块预先分配好的内存区域，调用者需要将原始数据拷贝进这块内存区域中。更适用于从文件中读取视频数据等场景。
  1. 在接口调用的过程中，两种方式的接口调用方式基本一致，但存在以下差异点：
  • Buffer模式下，应用调用OH_VideoEncoder_PushInputBuffer()输入数据；Surface模式下，应用应在编码器就绪前调用OH_VideoEncoder_GetSurface()，获取OHNativeWindow用于传递视频数据。
  • Buffer模式下，应用调用OH_VideoEncoder_PushInputBuffer()传入结束flag，编码器读取到尾帧后，停止编码；Surface模式下，需要调用OH_VideoEncoder_NotifyEndOfStream()通知编码器输入流结束。

状态机调用关系

如下为状态机调用关系图：

  1. 有两种方式可以使编码器进入Initialized状态：

    • 初始创建编码器实例时，编码器处于Initialized状态
    • 任何状态下调用OH_VideoEncoder_Reset()方法，编码器将会移回Initialized状态

  2. Initialized状态下，调用OH_VideoEncoder_Configure()方法配置编码器，配置成功后编码器进入Configured状态。

  3. Configured状态下调用OH_VideoEncoder_Prepare()进入Prepared状态。

  4. Prepared状态调用OH_VideoEncoder_Start()方法使编码器进入Executing状态。

    • 处于Executing状态时，调用OH_VideoEncoder_Stop()方法可以使编码器返回到Prepared状态

  5. 在极少数情况下，编码器可能会遇到错误并进入Error状态。编码器的错误传递，可以通过队列操作返回无效值或者抛出异常。

    • Error状态下可以调用OH_VideoEncoder_Reset()方法将编码器移到Initialized状态；或者调用OH_VideoEncoder_Destroy()方法移动到最后的Released状态

  6. Executing 状态具有三个子状态：Flushed、Running和End-of-Stream：

    • 在调用了OH_VideoEncoder_Start()之后，编码器立即进入Running子状态。
    • 对于处于Executing状态的编码器，可以调用OH_VideoEncoder_Flush()方法返回到Flushed子状态。
    • 当待处理数据全部传递给编码器后，可以在input buffers队列中为最后一个入队的input buffer中添加AVCODEC_BUFFER_FLAGS_EOS标记，遇到这个标记时，编码器会转换为End-of-Stream子状态。在此状态下，编码器不再接受新的输入，但是仍然会继续生成输出，直到输出到达尾帧。

  7. 使用完编码器后，必须调用OH_VideoEncoder_Destroy()方法销毁编码器实例。使编码器进入Released 状态。

开发指导

如下为视频编码调用关系图：

![2

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)
target_link_libraries(sample PUBLIC libnative_media_venc.so)

Surface模式

参考以下示例代码，开发者可以完成Surface模式下视频编码的全流程。此处以surface数据输入，编码成H.264格式为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。

    #include <multimedia/player_framework/native_avcodec_videoencoder.h>
    #include <multimedia/player_framework/native_avcapability.h>
    #include <multimedia/player_framework/native_avcodec_base.h>
    #include <multimedia/player_framework/native_avformat.h>
    #include <multimedia/player_framework/native_avbuffer.h>
    #include <fstream>

  2. 全局变量。

    // 配置视频帧宽度（必须）
    int32_t width = 320;
    // 配置视频帧高度（必须）
    int32_t height = 240;
    // 配置视频像素格式（必须）
    constexpr OH_AVPixelFormat DEFAULT_PIXELFORMAT = AV_PIXEL_FORMAT_NV12;
    int32_t widthStride = 0;
    int32_t heightStride = 0;

  3. 创建编码器实例对象。

    应用可以通过名称或媒体类型创建编码器。示例中的变量说明如下：

    • videoEnc：视频编码器实例的指针；
    • capability：编解码器能力查询实例的指针；
    • OH_AVCODEC_MIMETYPE_VIDEO_AVC：AVC格式视频码流的名称。

    创建方式示例如下：

    // 通过codec name创建编码器，应用有特殊需求，比如选择支持某种分辨率规格的编码器，可先查询capability，再根据codec name创建编码器。
    OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
    const char *codecName = OH_AVCapability_GetName(capability);
    OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByName(codecName);

    // 通过MIME TYPE创建编码器，只能创建系统推荐的特定编解码器
    // 涉及创建多路编解码器时，优先创建硬件编码器实例，硬件资源不够时再创建软件编码器实例
    OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);

  4. 调用OH_VideoEncoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 编码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如格式变化等；
    • OH_AVCodecOnNeedInputBuffer 输入回调无作用，用户通过获取的surface输入数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即编码完成。

    示例如下所示

    int32_t qpAverage = 20;
    double mseValue = 0.0;
    // 设置OH_AVCodecOnError 回调函数，编码异常
    static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
    {
    // 回调的错误码由用户判断处理
    (void)codec;
    (void)errorCode;
    (void)userData;
    }

    // 设置OH_AVCodecOnStreamChanged 回调函数，编码数据流变化
    static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
    {
    // 编码场景，该回调函数无作用
    (void)codec;
    (void)format;
    (void)userData;
    }

    // 设置 OH_AVCodecOnNeedInputBuffer 回调函数，编码输入帧送入数据队列
    static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
    {
    // surface模式下，该回调函数无作用，用户通过获取的surface输入数据
    (void)userData;
    (void)index;
    (void)buffer;
    }

    // 设置 OH_AVCodecOnNewOutputBuffer 回调函数，编码完成帧送入输出队列
    static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
    {
    // 完成帧buffer对应的index，送入outIndexQueue队列
    // 完成帧的数据buffer送入outBufferQueue队列
    // 获取视频帧的平均量化参数,平方误差
    OH_AVFormat *format = OH_AVBuffer_GetParameter(buffer);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_ENCODER_QP_AVERAGE, qpAverage);
    OH_AVFormat_GetDoubleValue(format, OH_MD_KEY_VIDEO_ENCODER_MSE, mseValue);
    OH_AVFormat_Destroy(format);
    // 数据处理，请参考:
    // 释放编码帧
    }

    // 配置异步回调，调用 OH_VideoEncoder_RegisterCallback()接口
    OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
    int32_t ret = OH_VideoEncoder_RegisterCallback(videoEnc, cb, NULL); // NULL:用户特定数据userData为空
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

说明

在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. （可选）调用OH_VideoEncoder_RegisterParameterCallback（）在配置之前注册随帧通路回调。

    // 5.1 编码输入参数回调OH_VideoEncoder_OnNeedInputParameter实现
    static void OnNeedInputParameter(OH_AVCodec *codec, uint32_t index, OH_AVFormat *parameter, void *userData)
    {
    // 输入帧parameter对应的index，送入InParameterIndexQueue队列
    // 输入帧的数据parameter送入InParameterQueue队列
    // 数据处理，请参考:
    // 随帧参数写入
    // 配置OH_MD_KEY_VIDEO_ENCODER_QP_MAX 的值应大于等于OH_MD_KEY_VIDEO_ENCODER_QP_MIN
    OH_AVFormat_SetIntValue(parameter, OH_MD_KEY_VIDEO_ENCODER_QP_MAX, 30);
    OH_AVFormat_SetIntValue(parameter, OH_MD_KEY_VIDEO_ENCODER_QP_MIN, 20);
    }

    // 5.2 注册随帧参数回调
    OH_VideoEncoder_OnNeedInputParameter inParaCb = OnNeedInputParameter;
    OH_VideoEncoder_RegisterParameterCallback(codec, inParaCb, nullptr); // NULL:用户特定数据userData为空

  2. 调用OH_VideoEncoder_Configure()配置编码器。

    目前支持的所有格式都必须配置以下选项：视频帧宽度、视频帧高度、视频像素格式。示例中的变量如下：

    • DEFAULT_WIDTH：320像素宽度；
    • DEFAULT_HEIGHT：240像素高度；
    • DEFAULT_PIXELFORMAT： 像素格式，因为示例使用YUV的文件保存的像素格式是NV12，所以设置为 AV_PIXEL_FORMAT_NV12。

    // 配置视频帧速率
    double frameRate = 30.0;
    // 配置视频YUV值范围标志
    bool rangeFlag = false;
    // 配置视频原色
    int32_t primary = static_cast<int32_t>(OH_ColorPrimary::COLOR_PRIMARY_BT709);
    // 配置传输特性
    int32_t transfer = static_cast<int32_t>(OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_BT709);
    // 配置最大矩阵系数
    int32_t matrix = static_cast<int32_t>(OH_MatrixCoefficient::MATRIX_COEFFICIENT_IDENTITY);
    // 配置编码Profile
    int32_t profile = static_cast<int32_t>(OH_AVCProfile::AVC_PROFILE_BASELINE);
    // 配置编码比特率模式
    int32_t rateMode = static_cast<int32_t>(OH_VideoEncodeBitrateMode::CBR);
    // 配置关键帧的间隔，单位为毫秒
    int32_t iFrameInterval = 23000;
    // 配置比特率
    int64_t bitRate = 3000000;
    // 配置编码质量
    int64_t quality = 0;

    OH_AVFormat *format = OH_AVFormat_Create();
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);

    OH_AVFormat_SetDoubleValue(format, OH_MD_KEY_FRAME_RATE, frameRate);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, rangeFlag);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, primary);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, transfer);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, matrix);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_I_FRAME_INTERVAL, iFrameInterval);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_PROFILE, profile);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENCODE_BITRATE_MODE, rateMode);
    OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, bitRate);
    //只有当OH_MD_KEY_BITRATE = CQ时，才需要配置OH_MD_KEY_QUALITY
    if (rateMode == static_cast<int32_t>(OH_VideoEncodeBitrateMode::CQ)) {
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_QUALITY, quality);
    }
    int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    OH_AVFormat_Destroy(format);

注意

配置非必须参数错误时，会返回AV_ERR_INVAILD_VAL错误码。但OH_VideoEncoder_Configure()不会失败，而是使用默认值继续执行。

  1. 获取Surface。

    获取编码器Surface模式的OHNativeWindow输入，获取Surface需要在准备编码器之前完成。

    // 获取需要输入的Surface，以进行编码
    OHNativeWindow nativeWindow;
    int32_t ret = OH_VideoEncoder_GetSurface(videoEnc, &nativeWindow);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 通过OHNativeWindow    变量类型，可通过生产者接口获取待填充数据地址。

OHNativeWindow*变量类型的使用方法请参考图形子系统 [OHNativeWindow]

  1. 调用OH_VideoEncoder_Prepare()编码器就绪。

    该接口将在编码器运行前进行一些数据的准备工作。

    int32_t ret = OH_VideoEncoder_Prepare(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  2. 调用OH_VideoEncoder_Start()启动编码器。

    // 配置待编码文件路径
    std::string_view outputFilePath = "/yourpath.h264";
    std::unique_ptrstd::ofstream outputFile = std::make_uniquestd::ofstream();
    outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
    // 启动编码器，开始编码
    int32_t ret = OH_VideoEncoder_Start(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  3. （可选）OH_VideoEncoder_SetParameter()在运行过程中动态配置编码器参数。

    OH_AVFormat *format = OH_AVFormat_Create();
    // 支持动态请求IDR帧
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_REQUEST_I_FRAME, true);
    // 支持动态重置比特率
    int64_t bitRate = 2000000;
    OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, bitRate);
    // 支持动态重置视频帧速率
    double frameRate = 60.0;
    OH_AVFormat_SetDoubleValue(format, OH_MD_KEY_FRAME_RATE, frameRate);
    // 支持动态设置QP值
    // 配置OH_MD_KEY_VIDEO_ENCODER_QP_MAX 的值应大于等于OH_MD_KEY_VIDEO_ENCODER_QP_MIN
    OH_AVFormat_SetIntValue(parameter, OH_MD_KEY_VIDEO_ENCODER_QP_MAX, 30);
    OH_AVFormat_SetIntValue(parameter, OH_MD_KEY_VIDEO_ENCODER_QP_MIN, 20);

    int32_t ret = OH_VideoEncoder_SetParameter(videoEnc, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  4. 写入编码图像。

    在之前的第7步中，开发者已经对OH_VideoEncoder_GetSurface接口返回的OHNativeWindow*类型变量进行配置。因为编码所需的数据，由配置的Surface进行持续地输入，所以开发者无需对OnNeedInputBuffer回调函数进行处理，也无需使用OH_VideoEncoder_PushInputBuffer接口输入数据。

  5. （可选）调用OH_VideoEncoder_PushInputParameter()通知编码器随帧参数配置输入完成。

    在之前的第5步中，开发者已经注册随帧通路回调

    以下示例中：

    • index：回调函数OnNeedInputParameter传入的参数，数据队列的索引。

    int32_t ret = OH_VideoEncoder_PushInputParameter(codec, index);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  6. 调用OH_VideoEncoder_NotifyEndOfStream()通知编码器结束。

    // surface模式：通知视频编码器输入流已结束，只能使用此接口进行通知
    // 不能像buffer模式中将flag设为AVCODEC_BUFFER_FLAGS_EOS，再调用OH_VideoEncoder_PushInputBuffer接口通知编码器输入结束
    int32_t ret = OH_VideoEncoder_NotifyEndOfStream(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  7. 调用OH_VideoEncoder_FreeOutputBuffer()释放编码帧。

    以下示例中：

    • index：回调函数OnNewOutputBuffer传入的参数，数据队列的索引。
    • buffer： 回调函数OnNewOutputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针。

    // 获取编码后信息
    OH_AVCodecBufferAttr info;
    int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 将编码完成帧数据buffer写入到对应输出文件中
    outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
    // 释放已完成写入的数据，index为对应输出队列下标
    ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, index);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  8. （可选）调用OH_VideoEncoder_Flush()刷新编码器。

    调用OH_VideoEncoder_Flush()后，编码器仍处于运行态，但会将当前队列清空，将已编码的数据释放。

    此时需要调用OH_VideoEncoder_Start()重新开始编码。

    // 刷新编码器videoEnc
    int32_t ret = OH_VideoEncoder_Flush(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 重新开始编码
    ret = OH_VideoEncoder_Start(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  9. （可选）调用OH_VideoEncoder_Reset()重置编码器。

    调用OH_VideoEncoder_Reset()后，编码器回到初始化的状态，需要调用OH_VideoEncoder_Configure()重新配置。

    // 重置编码器videoEnc
    int32_t ret = OH_VideoEncoder_Reset(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 重新配置编码器参数
    ret = OH_VideoEncoder_Configure(videoEnc, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  10. （可选）调用OH_VideoEncoder_Stop()停止编码器。

    调用OH_VideoEncoder_Stop()后，编码器处于停止的状态，直到调用OH_VideoEncoder_Start()重新开始编码。

    // 终止编码器videoEnc
    int32_t ret = OH_VideoEncoder_Stop(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  11. 调用OH_VideoEncoder_Destroy()销毁编码器实例，释放资源。

    说明

    不能在回调函数中调用；

    执行该步骤之后，需要开发者将videoEnc指向nullptr，防止野指针导致程序错误。

    // 调用OH_VideoEncoder_Destroy，注销编码器
    int32_t ret = OH_VideoEncoder_Destroy(videoEnc);
    videoEnc = nullptr;
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

Buffer模式

参考以下示例代码，开发者可以完成Buffer模式下视频编码的全流程。此处以YUV文件输入，编码成H.264格式为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。

    #include <multimedia/player_framework/native_avcodec_videoencoder.h>
    #include <multimedia/player_framework/native_avcapability.h>
    #include <multimedia/player_framework/native_avcodec_base.h>
    #include <multimedia/player_framework/native_avformat.h>
    #include <multimedia/player_framework/native_avbuffer.h>
    #include <fstream>

  2. 创建编码器实例对象。

    与surface模式相同，此处不再赘述。

    // 通过codec name创建编码器，应用有特殊需求，比如选择支持某种分辨率规格的编码器，可先查询capability，再根据codec name创建编码器。
    OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
    const char *codecName = OH_AVCapability_GetName(capability);
    OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByName(codecName);

    // 通过MIME TYPE创建编码器，只能创建系统推荐的特定编解码器
    // 涉及创建多路编解码器时，优先创建硬件编码器实例，硬件资源不够时再创建软件编码器实例
    OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);

  3. 调用OH_VideoEncoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 编码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如格式变化等；
    • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即编码器已准备好，可以输入YUV/RGB数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即编码完成。

    开发者可以通过处理该回调报告的信息，确保编码器正常运转。

    bool isFirstFrame = true;
    int32_t qpAverage = 20;
    double mseValue = 0.0;
    // 编码异常回调OH_AVCodecOnError实现
    static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
    {
    // 回调的错误码由用户判断处理
    (void)codec;
    (void)errorCode;
    (void)userData;
    }

    // 编码数据流变化回调OH_AVCodecOnStreamChanged实现
    static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
    {
    // 编码场景，该回调函数无作用
    (void)codec;
    (void)format;
    (void)userData;
    }

    // 编码输入回调OH_AVCodecOnNeedInputBuffer实现
    static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
    {
    // 输入帧buffer对应的index，送入InIndexQueue队列
    // 输入帧的数据buffer送入InBufferQueue队列
    // 获取视频宽高跨距
    if (isFirstFrame) {
    OH_AVFormat *format = OH_VideoEncoder_GetInputDescription(codec);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, widthStride);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, heightStride);
    OH_AVFormat_Destroy(format);
    isFirstFrame = false;
    }
    // 数据处理
    // 写入编码图像
    // 通知编码器码流结束
    }

    // 编码输出回调OH_AVCodecOnNewOutputBuffer实现
    static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
    {
    // 完成帧buffer对应的index，送入outIndexQueue队列
    // 完成帧的数据buffer送入outBufferQueue队列
    // 获取视频帧的平均量化参数,平方误差
    OH_AVFormat *format = OH_AVBuffer_GetParameter(buffer);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_ENCODER_QP_AVERAGE, qpAverage);
    OH_AVFormat_GetDoubleValue(format, OH_MD_KEY_VIDEO_ENCODER_MSE, mseValue);
    OH_AVFormat_Destroy(format);
    // 数据处理
    // 释放编码帧
    }

    // 配置异步回调，调用 OH_VideoEncoder_RegisterCallback 接口
    OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
    int32_t ret = OH_VideoEncoder_RegisterCallback(videoEnc, cb, NULL);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

说明

在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. 调用OH_VideoEncoder_Configure()配置编码器。

    与surface模式相同，此处不再赘述。

    OH_AVFormat *format = OH_AVFormat_Create();
    // 写入format
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
    // 配置编码器
    int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    OH_AVFormat_Destroy(format);

  2. 调用OH_VideoEncoder_Prepare()编码器就绪。

    该接口将在编码器运行前进行一些数据的准备工作。

    ret = OH_VideoEncoder_Prepare(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  3. 调用OH_VideoEncoder_Start()启动编码器，进入运行态。

    启动编码器后，回调函数将开始响应事件。所以，需要先配置输入文件、输出文件。

    // 配置待编码文件路径
    std::string_view inputFilePath = "/yourpath.yuv";
    std::string_view outputFilePath = "/yourpath.h264";
    std::unique_ptrstd::ifstream inputFile = std::make_uniquestd::ifstream();
    std::unique_ptrstd::ofstream outputFile = std::make_uniquestd::ofstream();
    inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary);
    outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
    // 启动编码器，开始编码
    int32_t ret = OH_VideoEncoder_Start(videoEnc);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  4. （可选）在运行过程中动态配置编码器参数。

    OH_AVFormat *format = OH_AVFormat_Create();
    // 支持动态请求IDR帧
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_REQUEST_I_FRAME, true);
    // 支持动态重置比特率
    int64_t bitRate = 2000000;
    OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, bitRate);
    // 支持动态重置视频帧速率
    double frameRate = 60.0;
    OH_AVFormat_SetDoubleValue(format, OH_MD_KEY_FRAME_RATE, frameRate);

    int32_t ret = OH_VideoEncoder_SetParameter(videoEnc, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  5. 调用OH_VideoEncoder_PushInputBuffer()写入编码图像。

    送入输入队列进行编码，以下示例中：

    • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
    • index：回调函数OnNeedInputBuffer传入的参数，数据队列的索引；
    • flags：缓冲区标记的类别，请参考[OH_AVCodecBufferFlags]
    • stride: 获取到的buffer数据的跨距。

    if (stride == width) {
    // 处理文件流得到帧的长度，再将需要编码的数据写入到对应index的buffer中
    int32_t frameSize = width * height * 3 / 2; // NV12像素格式下，每帧数据大小的计算公式
    inputFile->read(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), frameSize);
    } else {
    // 如果跨距不等于宽，需要用户按照跨距进行偏移
    }
    // 配置buffer info信息
    OH_AVCodecBufferAttr info;
    info.size = frameSize;
    info.offset = 0;
    info.pts = 0;
    info.flags = flags;
    ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 送入编码输入队列进行编码，index为对应输入队列的下标
    int32_t ret = OH_VideoEncoder_PushInputBuffer(videoEnc, index);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

对跨距进行偏移，以NV12图像为例 示例如下：

添加头文件

#include <string.h>

使用示例

struct Rect   // 源内存区域的宽，高
{
    int32_t width;
    int32_t height;
};

struct DstRect // 目标内存区域的宽，高跨距
{
    int32_t wStride;
    int32_t hStride;
};

struct SrcRect // 源内存区域的宽，高跨距
{
    int32_t wStride;
    int32_t hStride;
};
struct Rect rect;
struct DstRect dstRect;
struct SrcRect srcRect;
uint8_t *dst; // 目标内存区域的指针
uint8_t *src; // 源内存区域的指针

// Y 将Y区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {
    //将源数据的一行数据复制到目标数据的一行中
    memcpy_s(dst, src, rect.width);
    // 更新源数据和目标数据的指针，进行下一行的复制。每更新一次源数据和目标数据的指针都向下移动一个wStride
    dst += dstRect.wStride;
    src += srcRect.wStride;
}
// padding
// 更新源数据和目标数据的指针，指针都向下移动一个padding
dst += (dstRect.hStride - rect.height) * dstRect.wStride;
src += (srcRect.hStride - rect.height) * srcRect.wStride;
rect.height >>= 1;
// UV 将UV区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {
    memcpy_s(dst, src, rect.width);
    dst += dstRect.wStride;
    src += srcRect.wStride;
}

硬件编码在处理buffer数据时（推送数据前），需要用户拷贝宽高对齐后的图像数据到输入回调的AVbuffer中。

一般需要获取数据的宽高、跨距、像素格式来保证编码输入数据被正确的处理。

具体实现请参考：[Buffer模式]的步骤3-调用OH_VideoEncoder_RegisterCallback()设置回调函数来获取数据的宽高、跨距、像素格式。

  1. 通知编码器结束。

    以下示例中：

    • index：回调函数OnNeedInputBuffer传入的参数，数据队列的索引。
    • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；

    与"8. 写入编码图像"一样，使用同一个接口OH_VideoEncoder_PushInputBuffer，通知编码器输入结束，需要对flag标识成AVCODEC_BUFFER_FLAGS_EOS

    OH_AVCodecBufferAttr info;
    info.size = 0;
    info.offset = 0;
    info.pts = 0;
    info.flags = AVCODEC_BUFFER_FLAGS_EOS;
    int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    ret = OH_VideoEncoder_PushInputBuffer(videoEnc, index);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

  2. 调用OH_VideoEncoder_FreeOutputBuffer()释放编码帧。

    与surface模式相同，此处不再赘述。

    // 获取编码后信息
    OH_AVCodecBufferAttr info;
    int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    // 将编码完成帧数据buffer写入到对应输出文件中
    outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
    // 释放已完成写入的数据，index为对应输出队列的下标
    ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, index);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }

后续流程（包括刷新编码器、重置编码器、停止编码器、销毁编码器）与Surface模式一致。

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档 》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

总结

鸿蒙---作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿

相关推荐
沈剑心1 小时前
如何在鸿蒙系统上实现「沉浸式」页面？
前端·harmonyos
嘟嘟实验室2 小时前
微信小程序xr-frame透明视频实现
微信小程序·ffmpeg·音视频·xr
说私域2 小时前
社交媒体形象打造中的“号设化”与开源AI智能名片商城小程序的应用
人工智能·小程序·媒体
Georgewu2 小时前
【HarmonyOS】 鸿蒙图片或视频保存相册
前端·harmonyos
红米饭配南瓜汤3 小时前
WebRTC服务质量（09）- Pacer机制（01) 流程概述
网络·音视频·webrtc
是十一月末6 小时前
Python进阶之opencv图片和视频基本读取关闭
python·opencv·音视频·cv2
川石教育7 小时前
鸿蒙开发-ArkTS 中使用 filter 组件
harmonyos·鸿蒙·鸿蒙应用开发·鸿蒙开发·鸿蒙开发培训·arkts语言
李洋-蛟龙腾飞公司8 小时前
HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据
分布式·华为·harmonyos
Damon小智8 小时前
HarmonyOS NEXT 技术实践-实现音乐服务卡片
华为·harmonyos·鸿蒙·harmonyos next·服务卡片
play_big_knife8 小时前
鸿蒙项目云捐助第十七讲云捐助我的页面上半部分的实现
华为·harmonyos·鸿蒙·云开发·鸿蒙开发·鸿蒙next·华为云开发
热门推荐
01构建高效的广告投放系统：应用架构的设计与实现02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04Cube-Studio：开源大模型全链路一站式中台05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问07〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10【一文读懂】NTN（非地面网络）技术介绍