FFmpeg的入门实践系列六(编程入门之常见处理流程)

星海逐愿2024-08-26 13:57

欢迎诸位来阅读在下的博文~

在这里，在下会不定期发表一些浅薄的知识和经验，望诸位能与在下多多交流，共同努力

文章目录

前期博客

FFmpeg的入门实践系列一(环境搭建)
FFmpeg的入门实践系列二(基础知识)
FFmpeg的入门实践系列三(基础知识)
FFmpeg的入门实践系列四(AVS)
FFmpeg的入门实践系列五(编程入门之属性查看)

参考书籍

《FFmpeg开发实战------从零基础到短视频上线》------欧阳燊

一、FFmpeg常见的处理流程

承接上章，上一章其实讲了三个对象，一个是AVFormatContext，代表音视频文件，然后是其相关的属性；一个是AVStream，代表音视频文件里面的数据流（音频流、视频流、字幕流等等），然后是其相关属性；一个是AVCodec，代表数据流里面的编解码器规格，然后是其相关属性。整个过程是一个由大到小的，层层深入的过程。这一章，将继续讲解编解码器的相关内容。

复制编解码器的参数

其实，AVCodec结构仅仅是规格定义，它在描述一个编解码器是怎么样的，但是它没有真正执行编码解码的功能，就是一个"光说不做的主"。要想执行真正的编码解码操作，还需要引入AVCodecContext才行。

具体的写代码流程如下：

  • 打开编解码器实例的完整流程：avcodec_alloc_context3-->avcodec_parameters_to_context-->avcodec_open2
  • 关闭编解码器实例的完整流程：avcodec_close-->avcodec_free_context

在编解码器实例打开之后，才能对数据包或者数据帧进行编解码操作，具体而言，就是数据包AVPacket经过解码生成数据帧AVFrame；反之亦然。下面代码片段演示如何打开编解码的实例：

cpp 复制代码 
AVCodecContext *video_decode_ctx = NULL;
video_decode_ctx = avcodec_alloc_context3(video_codec);
if(video_decode_ctx == NULL) {
    av_log(NULL, AV_LOG_ERROR, "Could not allocate video decode context\n");
    return -1;
}
// 把视频流中的编解码参数复制给解码器的实例
avcodec_parameters_to_context(video_decode_ctx, video_stream->codecpar);
av_log(NULL, AV_LOG_INFO, "success copy video stream parameters to video decode context\n");
ret = avcodec_open2(video_decode_ctx, video_codec, NULL);// 打开解码器
av_log(NULL, AV_LOG_INFO, "success open video decode context\n");
if(ret < 0) {
    av_log(NULL, AV_LOG_ERROR, "Could not open video decoder\n");
    return -1;
}
avcodec_close(video_decode_ctx); // 关闭解码器
avcodec_free_context(&video_decode_ctx); // 释放解码器资源

其实只要调用了avcodec_paramters_to_context函数，就能获取音视频文件的详细编码参数，具体参数保存在AVCodecContext结构中，该结构的常见字段说明如下：

  • codec_id: 编解码器的编号。//比如AV_CODEC_ID_MJPEG 7 JPEG图像编码标准
  • codec_type: 编解码器的类型。// AVMEDIA_TYPE_VIDEO 0 视频流
  • width: 视频画面的宽度
  • height: 视频画面的高度
  • gop_size: 每两个关键帧(I帧）间隔多少帧
  • max_b_frames: 双向预测帧(B帧）的最大数量
  • pix_fmt: 视频的像素格式。像素格式的定义来自AVPixelFormat枚举，详细的像素格式类型及其说明见附页
  • profile: 指定编解码器的配置文件，主要用于细分AAC音频的种类，详细的AAC种类定义及其说明见附页
  • ch_layout: 音频的声道布局，该字段为AVChannelLayout结构，声道数量是该结构的nb_channels字段。声道数量及其定义见附页
  • sample_fmt: 音频的采样格式。采样格式的定义来自AVSampleFormat枚举，详细的采样格式定义见附页
  • sample_rate: 音频的采样频率，单位为赫兹（次每秒）
  • frame_size: 音频的帧大小，也叫采样个数，即每个音频帧采集的样本数量
  • bit_rate: 码率，也叫比特率，单位为比特每秒
  • time_base: 音视频的时间基，该字段为AVRatianal结构

完整代码

接下来把AVStream到AVCodec再到AVCodecContext的完整流程串起来，分别在视频流和音频流中寻找它们的解码器的实例，并执行实例的打开和关闭操作。

cpp 复制代码 
#include <stdio.h>
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
#ifdef __cplusplus
};
#endif


int main(int argc, char** argv){
    const char* filename = "../fuzhou.mp4";
    if(argc > 1)
        filename = argv[1];
    AVFormatContext* fmt_ctx = NULL;
    int ret = avformat_open_input(&fmt_ctx, filename, NULL, NULL);
    if(ret < 0){
        av_log(NULL, AV_LOG_ERROR, "Could not open file %s\n", filename);
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Opened file %s\n", filename);
    //查找音视频文件中的流信息
    ret = avformat_find_stream_info(fmt_ctx, NULL);
    if(ret < 0){
        av_log(NULL, AV_LOG_ERROR, "Could not find stream information\n");
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success find stream information.\n");
    av_log(NULL, AV_LOG_INFO, "duration=%d\n", fmt_ctx->duration); // 持续时间，单位微秒
    av_log(NULL, AV_LOG_INFO, "nb_streams=%d\n", fmt_ctx->nb_streams); // 数据流的数量
    av_log(NULL, AV_LOG_INFO, "max_streams=%d\n", fmt_ctx->max_streams); // 数据流的最大数量
    av_log(NULL, AV_LOG_INFO, "video_codec_id=%d\n", fmt_ctx->video_codec_id);
    av_log(NULL, AV_LOG_INFO, "audio_codec_id=%d\n", fmt_ctx->audio_codec_id);

    // 找到视频流的索引
    int video_stream_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    av_log(NULL, AV_LOG_INFO, "video_stream_index=%d\n", video_stream_index);
    if(video_stream_index >= 0){
        AVStream* video_stream = fmt_ctx->streams[video_stream_index];
        enum AVCodecID video_codec_id = video_stream->codecpar->codec_id;
        av_log(NULL, AV_LOG_INFO, "video_codec_id=%d\n", video_codec_id);
        // 查找视频解码器
        AVCodec* video_codec = (AVCodec*)avcodec_find_decoder(video_codec_id);
        if(video_codec == NULL){
            av_log(NULL, AV_LOG_ERROR, "Could not find video decoder\n");
            return -1;
        }
        av_log(NULL, AV_LOG_INFO, "video_codec_name=%s\n", video_codec->name);
        av_log(NULL, AV_LOG_INFO, "video_codec long_name=%s\n", video_codec->long_name);
        av_log(NULL, AV_LOG_INFO, "video_codec_type=%d\n", video_codec->type);

        // 视频解码器的实例
        AVCodecContext* video_dec_ctx = NULL;
        video_dec_ctx = avcodec_alloc_context3(video_codec);
        if(video_dec_ctx == NULL){
            av_log(NULL, AV_LOG_ERROR, "Could not allocate video decoder context\n");
            return -1;
        }
        //把视频流中的编解码器参数复制到解码器实例中
        avcodec_parameters_to_context(video_dec_ctx, video_stream->codecpar);
        av_log(NULL, AV_LOG_INFO, "Success copy video stream parameters to decoder context.\n");
        av_log(NULL, AV_LOG_INFO, "video_dec_ctx->width=%d\n", video_dec_ctx->width);
        av_log(NULL, AV_LOG_INFO, "video_dec_ctx->height=%d\n", video_dec_ctx->height);
        //打开视频解码器
        ret = avcodec_open2(video_dec_ctx, video_codec, NULL);
        if(ret < 0){
            av_log(NULL, AV_LOG_ERROR, "Could not open video decoder\n");
            return -1;
        }
        av_log(NULL, AV_LOG_INFO, "Success open video decoder.\n");
        av_log(NULL, AV_LOG_INFO, "video_decode profile = %d\n", video_dec_ctx->profile);
        avcodec_close(video_dec_ctx);
        avcodec_free_context(&video_dec_ctx);

    }

    // 找到音频流的索引
    int audio_stream_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    av_log(NULL, AV_LOG_INFO, "audio_stream_index=%d\n", audio_stream_index);
    if(audio_stream_index >= 0){
        AVStream* audio_stream = fmt_ctx->streams[audio_stream_index];
        enum AVCodecID audio_codec_id = audio_stream->codecpar->codec_id;
        av_log(NULL, AV_LOG_INFO, "audio_codec_id=%d\n", audio_codec_id);
        // 查找音频解码器
        AVCodec* audio_codec = (AVCodec*)avcodec_find_decoder(audio_codec_id);
        if(audio_codec == NULL){
            av_log(NULL, AV_LOG_ERROR, "Could not find audio decoder\n");
            return -1;
        }
        av_log(NULL, AV_LOG_INFO, "audio_codec_name=%s\n", audio_codec->name);
        av_log(NULL, AV_LOG_INFO, "audio_codec long_name=%s\n", audio_codec->long_name);
        av_log(NULL, AV_LOG_INFO, "audio_codec_type=%d\n", audio_codec->type);

        // 音频解码器的实例
        AVCodecContext* audio_dec_ctx = NULL;
        audio_dec_ctx = avcodec_alloc_context3(audio_codec);
        if(audio_dec_ctx == NULL){
            av_log(NULL, AV_LOG_ERROR, "Could not allocate audio decoder context\n");
            return -1;
        }
        //把音频流中的编解码器参数复制到解码器实例中
        avcodec_parameters_to_context(audio_dec_ctx, audio_stream->codecpar);
        av_log(NULL, AV_LOG_INFO, "Success copy audio stream parameters to decoder context.\n");
        av_log(NULL, AV_LOG_INFO, "audio_dec_ctx->sample_rate=%d\n", audio_dec_ctx->sample_rate);
        av_log(NULL, AV_LOG_INFO, "audio_dec_ctx->channels=%d\n", audio_dec_ctx->ch_layout.nb_channels);
        //打开音频解码器
        ret = avcodec_open2(audio_dec_ctx, audio_codec, NULL);
        if(ret < 0){
            av_log(NULL, AV_LOG_ERROR, "Could not open audio decoder\n");
            return -1;
        }
        av_log(NULL, AV_LOG_INFO, "Success open audio decoder.\n");
        av_log(NULL, AV_LOG_INFO, "audio_decode profile = %d\n", audio_dec_ctx->profile);
        avcodec_close(audio_dec_ctx);
        avcodec_free_context(&audio_dec_ctx);
    }
    avformat_close_input(&fmt_ctx);
    return 0;
}

编译：

cpp 复制代码 
gcc para.c -o para -I /usr/local/ffmpeg/include -L /usr/local/ffmpeg/lib -lavformat -lavdevice -lavfilter -lavcodec -lavutil -lswscale -lswresample -lpostproc -lm

输出结果：

由日志信息可见，视频流和音频流的解码器实例都被找到并且成功打开，还发现目标文件的视频宽高为1440*810，并且音频格式为AAC-LC（profile=1，根据表2-7找到规格说明），声道类型为双声道（立体声）。

二、创建并写入音视频文件

前面介绍的音视频处理属于对文件的读操作，如果是写操作，那又是另一套流程。写入音视频文件的总体步骤说明如下：

  • 01 调用avformat_alloc_output_context2函数分配音视频文件的封装实例
  • 02 调用avio_open函数打开音视频文件的输出流
  • 03 调用avformat_write_header函数写入音视频的文件头
  • 04 多次调用av_write_frame函数写入音视频的数据帧
  • 05 调用av_write_trailer函数写入音视频的文件尾
  • 06 调用avio_close函数关闭音视频文件的输出流
  • 07 调用avformat_free_context函数释放音视频文件的封装实例

需要注意的是，音视频文件要求至少封装一路数据流，要么封装单路视频，要么封装单路音频，要么两者都封装。以下是音视频文件封装数据流的总体步骤说明：

  • 01 调用avcodec_find_encoder函数查找指定编号的编码器
  • 02 调用avcodec_alloc_context3函数根据编码器分配对应的编码器实例。对于视频来说，还要设置编码器实例的width和height字段
  • 03 调用avformat_new_stream函数，给输出文件创建采用指定编码器的数据流
  • 04 调用avcodec_paramters_from_context函数把编码器实例的参数复制给数据流

上述的封装步骤虽然没有写入真实的数据帧，但不影响程序的正常运行。因为已经创建了一路视频流，不过是空而已。综合上述，可以得出完整代码如下：

cpp 复制代码 
#include <stdio.h>

// 之所以增加__cplusplus的宏定义，是为了同时兼容gcc编译器和g++编译器
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
#ifdef __cplusplus
};
#endif

int main(int argc, char **argv) {
    const char *filename = "output.mp4";
    if (argc > 1) {
        filename = argv[1];
    }
    AVFormatContext *out_fmt_ctx;
    // 分配音视频文件的封装实例
    int ret = avformat_alloc_output_context2(&out_fmt_ctx, NULL, NULL, filename);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't alloc output_file %s.\n", filename);
        return -1;
    }
    // 打开输出流
    ret = avio_open(&out_fmt_ctx->pb, filename, AVIO_FLAG_READ_WRITE);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't open output_file %s.\n", filename);
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success open output_file %s.\n", filename);
    
    // 查找编码器
    AVCodec *video_codec = (AVCodec*) avcodec_find_encoder(AV_CODEC_ID_H264);
    if (!video_codec) {
        av_log(NULL, AV_LOG_ERROR, "AV_CODEC_ID_H264 not found\n");
        return -1;
    }
    AVCodecContext *video_encode_ctx = NULL;
    video_encode_ctx = avcodec_alloc_context3(video_codec); // 分配编解码器的实例
    if (!video_encode_ctx) {
        av_log(NULL, AV_LOG_ERROR, "video_encode_ctx is null\n");
        return -1;
    }
    video_encode_ctx->width = 320; // 视频画面的宽度
    video_encode_ctx->height = 240; // 视频画面的高度
    // 创建指定编码器的数据流
    AVStream * video_stream = avformat_new_stream(out_fmt_ctx, video_codec);
    // 把编码器实例中的参数复制给数据流
    avcodec_parameters_from_context(video_stream->codecpar, video_encode_ctx);
    video_stream->codecpar->codec_tag = 0; // 非特殊情况都填0
    
    ret = avformat_write_header(out_fmt_ctx, NULL); // 写文件头
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "write file_header occur error %d.\n", ret);
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success write file_header.\n");
    av_write_trailer(out_fmt_ctx); // 写文件尾
    avio_close(out_fmt_ctx->pb); // 关闭输出流
    avformat_free_context(out_fmt_ctx); // 释放封装器的实例
    return 0;
}

编译：

cpp 复制代码 
gcc write.c -o write -I /usr/local/ffmpeg/include -L /usr/local/ffmpeg/lib -lavformat -lavdevice -lavfilter -lavcodec -lavutil -lswscale -lswresample -lpostproc -lm

输出结果：

三、总结

本章中，主讲了对音视频文件的从上到下的读写流程。这里着重讲了AVCodecContext这个结构体的使用方法，诸位在实际开发时，一定要有层次意识，首先要问一下该代码片段处理的内容是处于什么位置的，是属于音视频文件(AVFormatContext)，属于数据流(AVStream)，还是属于数据流下面的编解码器(AVCodec,AVCodecContext)？把脉络给理清了，开发过程中才不会如同无头苍蝇乱闯。

下一期，会更精彩，期待诸位的关注~

附页

像素格式类型 对应数值(可能不同版本数值不同) 应用场合
AV_PIX_FMT_YUV420P 0 YUV 4:2:0 格式，适用于大多数YUV视频编码
AV_PIX_FMT_YUV422P 1 YUV 4:2:2 格式，适用于高质量视频编码
AV_PIX_FMT_YUV444P 2 YUV 4:4:4 格式，适用于高质量视频编码
AV_PIX_FMT_YUVJ420P 3 YUV 4:2:0 格式，适用于JPEG格式的YUV视频
AV_PIX_FMT_YUVJ422P 4 YUV 4:2:2 格式，适用于JPEG格式的YUV视频
AV_PIX_FMT_YUVJ444P 5 YUV 4:4:4 格式，适用于JPEG格式的YUV视频
AV_PIX_FMT_RGB24 6 24位RGB格式，适用于计算机显示和图像处理
AV_PIX_FMT_BGR24 7 24位BGR格式，适用于计算机显示和图像处理
AV_PIX_FMT_GRAY8 8 8位灰度格式，适用于灰度图像和视频
AV_PIX_FMT_MONOBLACK 9 单色（黑和白）格式，适用于特定的图像处理需求
AV_PIX_FMT_MONOWHITE 10 单色（白和黑）格式，适用于特定的图像处理需求
AV_PIX_FMT_NV12 12 YUV 4:2:0 格式，适用于硬件加速和某些视频编码
AV_PIX_FMT_NV21 13 YUV 4:2:0 格式，与NV12类似，但存储顺序不同
AV_PIX_FMT_ARGB 16 ARGB格式，适用于图像处理和某些视频编码
AV_PIX_FMT_RGBA 17 RGBA格式，适用于图像处理和某些视频编码
AV_PIX_FMT_ABGR 18 ABGR格式，适用于图像处理和某些视频编码
AV_PIX_FMT_BGRA 19 BGRA格式，适用于图像处理和某些视频编码
AAC配置文件 对应数值 说明
FF_PROFILE_AAC_LOW 1 低复杂度AAC，最常用，音质与复杂度平衡。
FF_PROFILE_AAC_SSR 2 采样率可调节的AAC
FF_PROFILE_AAC_LTP 3 长期预测的AAC
FF_PROFILE_AAC_HE 4 高效率的AAC
FF_PROFILE_AAC_HE_V2 28 第二版的HE-AAC
FF_PROFILE_AAC_LD 22 低时延的AAC
FF_PROFILE_AAC_ELD 38 增强型的低时延的AAC
FF_PROFILE_UNKNOWN -99 未知配置文件，表示未指定或无法识别的配置。
声道类型 声道数量 音频位置
单声道 1 中心位置，适用于所有音频内容
双声道 2 左右分布，提供基本的立体声体验
2.1环绕声 3 左、右和低音炮，增强低频效果
4.0环绕声 4 前左、前右、后左、后右，提供更广阔的声场
4.1环绕声 5 4.0环绕声基础上增加一个低音炮声道
5.1环绕声 6 前左、前右、后左、后右、低音炮和中央声道
6.1环绕声 7 5.1环绕声基础上增加一个后中/侧环绕声道
7.1环绕声 8 5.1环绕声基础上增加两个侧环绕声道
7.1.2环绕声 9 7.1环绕声基础上增加两个高度声道
7.1.4环绕声 10 7.1.2环绕声基础上增加两个高度环绕声道
22.2环绕声（IMAX 12.1） 13 7.1.4环绕声基础上增加五个侧面环绕声道
采样格式类型 对应数值 说明
AV_SAMPLE_FMT_U8 0 无符号8位采样，交错模式
AV_SAMPLE_FMT_S16 1 有符号16位采样，交错模式
AV_SAMPLE_FMT_S32 2 有符号32位采样，交错模式
AV_SAMPLE_FMT_FLT 3 单精度浮点采样，交错模式
AV_SAMPLE_FMT_DBL 4 双精度浮点采样，交错模式
AV_SAMPLE_FMT_U8P 5 无符号8位采样，平面模式
AV_SAMPLE_FMT_S16P 6 有符号16位采样，平面模式
AV_SAMPLE_FMT_S32P 7 有符号32位采样，平面模式
AV_SAMPLE_FMT_FLTP 8 单精度浮点采样，平面模式
AV_SAMPLE_FMT_DBLP 9 双精度浮点采样，平面模式
AV_SAMPLE_FMT_S64 10 有符号64位采样，交错模式
AV_SAMPLE_FMT_S64P 11 有符号64位采样，平面模式
AV_SAMPLE_FMT_S16S 12 有符号16位采样，交错模式，小端字节序
AV_SAMPLE_FMT_S32S 13 有符号32位采样，交错模式，小端字节序
AV_SAMPLE_FMT_FLTS 14 单精度浮点采样，交错模式，小端字节序
AV_SAMPLE_FMT_DBLS 15 双精度浮点采样，交错模式，小端字节序
AV_SAMPLE_FMT_S16S_PLANAR 16 有符号16位采样，平面模式，小端字节序
AV_SAMPLE_FMT_S32S_PLANAR 17 有符号32位采样，平面模式，小端字节序
AV_SAMPLE_FMT_FLTS_PLANAR 18 单精度浮点采样，平面模式，小端字节序
AV_SAMPLE_FMT_DBLS_PLANAR 19 双精度浮点采样，平面模式，小端字节序

为了方便诸位编译，在此提供CMakeLists.txt文件

cpp 复制代码 
cmake_minimum_required(VERSION 3.10)

# 项目名称
project(Helloffmpeg)

# 设置 C 标准
set(CMAKE_C_STANDARD 99)

# 指定源文件
set(SRC write.c)

# 指定头文件搜索路径
include_directories(/usr/local/ffmpeg/include)

# 指定库文件搜索路径
link_directories(/usr/local/ffmpeg/lib)

# 添加可执行文件
add_executable(write ${SRC})

# 链接 FFmpeg 库
target_link_libraries(write
    avformat
    avdevice
    avfilter
    avcodec
    avutil
    swscale
    swresample
    postproc
    m
)

至此，结束~

望诸位不忘三连支持一下~

相关推荐
韩曙亮12 小时前
【FFmpeg】FFmpeg 内存结构 ③ ( AVPacket 函数简介 | av_packet_ref 函数 | av_packet_clone 函数 )
ffmpeg·音视频·avpacket·av_packet_clone·av_packet_ref·ffmpeg内存结构
oushaojun216 小时前
ubuntu中使用ffmpeg和nginx推流rtmp视频
nginx·ubuntu·ffmpeg·rtmp
莫固执，朋友16 小时前
网络抓包工具tcpdump 在海思平台上的编译使用
网络·ffmpeg·音视频·tcpdump
lxkj_202417 小时前
修改ffmpeg实现https-flv内容加密
网络协议·https·ffmpeg
cuijiecheng201817 小时前
音视频入门基础：MPEG2-TS专题（6）——FFmpeg源码中，获取MPEG2-TS传输流每个transport packet长度的实现
ffmpeg·音视频
VisionX Lab1 天前
数据脱敏工具：基于 FFmpeg 的视频批量裁剪
python·ffmpeg·音视频
柳鲲鹏2 天前
全网首发：Ubuntu编译跨平台嵌入式支持ffmpeg的OpenCV
linux·ubuntu·ffmpeg
冰山一脚20132 天前
ffplay音频SDL播放处理
ffmpeg
cuijiecheng20182 天前
音视频入门基础：MPEG2-TS专题（7）——FFmpeg源码中，读取出一个transport packet数据的实现
ffmpeg·音视频
Maxwellhang2 天前
【java-ffmpeg】java 内存测试和集成
java·ffmpeg·jni
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作