ffmpeg 音视频解码

音视频播放的流程

根据我之前写的文章，基于ffmpeg来对视频进行解复用，提取音视频压缩数据pkt。现在我们来看看如何进行将pkt进行解码得到原始数据。

音视频频解码过程

⾳频解码过程如下图所示：

基于FFmpeg解码流程

cpp 复制代码

主要api
// 1. 查找解码器
codec = avcodec_find_decoder(audio_codec_id);  // AV_CODEC_ID_AAC
//2.获取裸流的解析器 AVCodecParserContext(数据)  +  AVCodecParser(方法)
parser = av_parser_init(codec->id);  根据指定的解码器ID初始化相应裸流的解析器
// 3.分配codec上下文 坑点：使用新版api
codec_ctx = avcodec_alloc_context3(codec);	分配解码器上下文
// 4.将解码器和解码器上下文进行关联
avcodec_open2(codec_ctx, codec, NULL) 		打开解码器和关联解码器上下文


//5.开始解析，解析获得⼀个Packet
@param s 解析器上下文。
@param avctx 编解码器上下文。
@param poutbuf 设置为指向已解析的缓冲区的指针,或者如果还没有完成则设置为 NULL。
@param poutbuf_size 设置为已解析缓冲区的大小,或者如果还没有完成则设置为 0。
@param buf 输入缓冲区。
@param buf_size 缓冲区大小(以字节为单位),不包括填充。即整个缓冲区大小假定为 buf_size + AV_INPUT_BUFFER_PADDING_SIZE。
要标记文件结束(EOF),应该设置为 0(以便输出最后一帧)。
@param pts 输入的presentation timestamp。
@param dts 输入的解码timestamp。
@param pos 输入流中的字节位置。
@return 返回使用的输入比特流的字节数。
//解析一个数据包。
ret = av_parser_parse2(parser, codec_ctx, &pkt->data, &pkt->size,
                               data, data_size,
                               AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);


//6.将压缩后的数据包发送给解码器  注意：pkt可以使用引用技术版本 即new free  unref相关api 没使用即copy 以及注意返回值
ret = avcodec_send_packet(dec_ctx, pkt);
if(ret == AVERROR(EAGAIN))//队满
{
    cout<<"avcodec_send_frame AVERROR(EAGAIN) error"<<endl;
}
else if(ret == AVERROR_EOF){ //读完
    cout<<"avcodec_send_frame AVERROR_EOF error"<<endl;
}else if(ret == AVERROR(EINVAL)) //编码器未打开
{
    cout<<"avcodec_send_frame AVERROR(EINVAL) error"<<endl;
    return -2;
}
else if(ret < 0 ){
    fprintf(stderr, "Error sending the frame to the encoder\n");
    return -1;
}


// 7.从解码器接收一帧数据  对于frame, avcodec_receive_frame内部每次都先调用unref
ret = avcodec_receive_frame(dec_ctx, frame);
if(ret == AVERROR(EAGAIN))//队空 编码器或解码器的内部缓冲区已空,无法立即处理新的数据包。等待发送
...
else if(ret == AVERROR_EOF)//读完 表示已经处理完所有的输入数据包,已经达到了数据流的末尾。
else if(ret == AVERROR(EINVAL)) //编码器未打开
{
    cout<<"avcodec_send_frame AVERROR(EINVAL) error"<<endl;
    return -2;
}
else if(ret < 0 ){
    fprintf(stderr, "Error sending the frame to the encoder\n");
    return -1;
}


//获取给定音频采样格式对应的每个样本所占用的字节数。
data_size = av_get_bytes_per_sample(dec_ctx->sample_fmt);

视频解码过程如下：

⼀般解出来的是420p

基于FFmpeg解码流程

api与音频相关类似

总结

1.AVCodecParser：⽤于解析输⼊的数据流并把它分成⼀帧⼀帧的压缩编码数据。⽐较形象的说法就是把⻓⻓的⼀段连续的数据"切割"成⼀段段的数据。

2.FFmpeg提供了两组函数，分别⽤于编码和解码：

解码：调⽤avcodec_receive_frame()，如果成功会返回⼀个包含未压缩数据的 AVFrame。编码：调⽤avcodec_receive_packet()，如果成功会返回⼀个包含压缩数据的 AVPacket。

3.在⼀个循环体内去接收codec的输出，即周期性地调⽤avcodec_receive_*()来接收codec 输出的数据。

反复地调⽤avcodec_receive_packet()直到返回 AVERROR(EAGAIN)或其他错误。返回 AVERROR(EAGAIN)错误表示codec需要新的输⼊来输出更多的数据。对于每个输⼊的 packet或frame，codec⼀般会输出⼀个frame或packet，但是也有可能输出0个或者多于1个。

流处理结束的时候需要flush（冲刷） codec。因为codec可能在内部缓冲多个frame或 packet，如果继续使用可能造成下次使用数据不匹配。

处理流程如下：调⽤avcodec_send_*()传⼊的AVFrame或AVPacket指针设置为NULL。这将进⼊ draining mode（排⽔模式）。反复地调⽤avcodec_receive_*()直到返回AVERROR_EOF ，该⽅法在draining mode 时不会返回AVERROR(EAGAIN)的错误，除⾮你没有进⼊draining mode。 当重新开启codec时，需要先调⽤ avcodec_flush_buffers()来重置codec。

/* 冲刷解码器 */

pkt->data = NULL; // 让其进入drain mode

pkt->size = 0;

decode(codec_ctx, pkt, decoded_frame, outfile);