FFmpeg处理音视频的常用API及一般流程

FFmpeg是一个开源的音视频处理库,提供了丰富的API用于音视频的编解码、转码、过滤、播放等操作。

一、使用FFmpeg API解码涉及到的函数及一般流程如下:

  1. av_register_all(): 注册所有的编解码器和格式。
cpp 复制代码
av_register_all();
  1. avformat_open_input(): 打开输入文件(流)并获取文件(流)的格式信息。
cpp 复制代码
AVFormatContext *fmt_ctx = NULL;
if (avformat_open_input(&fmt_ctx, input_file, NULL, NULL) < 0) {
    // 打开文件失败
}
  1. avformat_find_stream_info(): 获取流的详细信息。
cpp 复制代码
if (avformat_find_stream_info(fmt_ctx, NULL) < 0) {
    // 获取流信息失败
}
  1. avcodec_find_decoder(): 查找解码器。
cpp 复制代码
AVCodec *codec = avcodec_find_decoder(stream->codecpar->codec_id);
if (!codec) {
    // 找不到解码器
}
  1. avcodec_open2(): 打开解码器。
cpp 复制代码
AVCodecContext *codec_ctx = avcodec_alloc_context3(codec);
if (avcodec_open2(codec_ctx, codec, NULL) < 0) {
    // 打开解码器失败
}
  1. av_read_frame(): 读取一帧音视频数据。
cpp 复制代码
AVPacket packet;
while (av_read_frame(fmt_ctx, &packet) >= 0) {
    // 处理音视频数据
    av_packet_unref(&packet);
}
  1. avcodec_send_packet()和avcodec_receive_frame(): 解码音视频数据。
cpp 复制代码
AVFrame *frame = av_frame_alloc();
while (av_read_frame(fmt_ctx, &packet) >= 0) {
    if (packet.stream_index == audio_stream_index) {
        // 解码音频数据
        avcodec_send_packet(codec_ctx, &packet);
        while (avcodec_receive_frame(codec_ctx, frame) >= 0) {
            // 处理解码后的音频帧
        }
    } else if (packet.stream_index == video_stream_index) {
        // 解码视频数据
        avcodec_send_packet(codec_ctx, &packet);
        while (avcodec_receive_frame(codec_ctx, frame) >= 0) {
            // 处理解码后的视频帧
        }
    }
    av_packet_unref(&packet);
}

二、与解码类似,编码的流程一般为:

  1. avformat_alloc_output_context2(): 创建输出格式上下文。
cpp 复制代码
AVFormatContext *out_fmt_ctx = NULL;
if (avformat_alloc_output_context2(&out_fmt_ctx, NULL, NULL, output_file) < 0) {
    // 创建输出格式上下文失败
}
  1. avcodec_find_encoder(): 查找编码器。
cpp 复制代码
AVCodec *encoder = avcodec_find_encoder(AV_CODEC_ID_H264);
if (!encoder) {
    // 找不到编码器
}
  1. avcodec_open2(): 打开编码器。
cpp 复制代码
AVCodecContext *encoder_ctx = avcodec_alloc_context3(encoder);
if (avcodec_open2(encoder_ctx, encoder, NULL) < 0) {
    // 打开编码器失败
}
  1. avformat_write_header(): 写入输出文件的头部信息。
cpp 复制代码
if (avformat_write_header(out_fmt_ctx, NULL) < 0) {
    // 写入头部信息失败
}
  1. avcodec_send_frame()和avcodec_receive_packet(): 编码音视频数据。
cpp 复制代码
AVPacket encoded_packet;
while (av_read_frame(fmt_ctx, &packet) >= 0) {
    if (packet.stream_index == audio_stream_index) {
        // 编码音频数据
        avcodec_send_frame(encoder_ctx, frame);
        while (avcodec_receive_packet(encoder_ctx, &encoded_packet) >= 0) {
            // 处理编码后的音频数据
        }
    } else if (packet.stream_index == video_stream_index) {
        // 编码视频数据
        avcodec_send_frame(encoder_ctx, frame);
        while (avcodec_receive_packet(encoder_ctx, &encoded_packet) >= 0) {
            // 处理编码后的视频数据
        }
    }
    av_packet_unref(&packet);
}
  1. av_write_frame()和av_write_trailer(): 写入编码后的音视频数据。
cpp 复制代码
if (av_write_frame(out_fmt_ctx, &encoded_packet) < 0) {
    // 写入音视频数据失败
}

三、解码和编码结束后都要及时释放内存:

  1. avformat_close_input(): 关闭输入文件。
cpp 复制代码
avformat_close_input(&fmt_ctx);
  1. avcodec_free_context(): 释放编解码器上下文。
cpp 复制代码
avcodec_free_context(&codec_ctx);
  1. av_frame_free(): 释放帧对象。
cpp 复制代码
av_frame_free(&frame);
  1. avformat_free_context(): 释放格式上下文。
cpp 复制代码
avformat_free_context(fmt_ctx);

了解这些常用API及流程对使用FFmpeg开发将大有裨益。

相关推荐
earthzhang20212 小时前
【1028】字符菱形
c语言·开发语言·数据结构·c++·算法·青少年编程
AA陈超4 小时前
虚幻引擎5 GAS开发俯视角RPG游戏 P05-08 UI 部件数据表
c++·游戏·ue5·游戏引擎·虚幻
纵有疾風起5 小时前
C++——类和对象(3)
开发语言·c++·经验分享·开源
承渊政道7 小时前
动态内存管理
c语言·c++·经验分享·c#·visual studio
孤独得猿7 小时前
聊天室项目开发——etcd的安装和使用
linux·服务器·c++·etcd
new coder7 小时前
[c++语法学习]Day10:c++引用
开发语言·c++·学习
哼?~8 小时前
C++11标准 上 (万字解析)
开发语言·c++
给大佬递杯卡布奇诺8 小时前
FFmpeg 基本API avformat_alloc_context 函数内部调用流程分析
c++·ffmpeg·音视频
楼田莉子9 小时前
C++学习:C++11扩展:constexpr特性
开发语言·c++·学习
eurotruck9 小时前
c++贪吃蛇V1.0
开发语言·c++·贪吃蛇