Qt+FFmpeg播放mp4文件视频

JoggingJack2023-10-06 10:55

关键词：Qt FFmpeg MP4 视频

源码下载在系列原文地址。

先看效果。

这是一个很简单的mp4文件播放demo，为了简化，没有加入音频数据解析，即只有图像没有声音。

音视频源的播放可以概括为以下步骤：

mp4文件也是源数据的一种，用FFmpeg解析mp4文件也遵循这个的过程，在函数层面的解析过程如下所示：

和上述流程对应的关键代码如下：

scss 复制代码 
avdevice_register_all();
if(nullptr == (fileFmtCtx = avformat_alloc_context()))
{
    qDebug() << "avformat_alloc_context() failed";
    return;
}
QString playUrl = QCoreApplication::applicationDirPath() + "/test.mp4";
if (avformat_open_input(&fileFmtCtx, playUrl.toStdString().c_str(), nullptr, nullptr) != 0) {
    qDebug() << "avformat_open_input() failed";
    return;
}
if(avformat_find_stream_info(fileFmtCtx, NULL) < 0){
    qDebug() << "avformat_find_stream_info() failed";
    return;
}
for(size_t i = 0;i < fileFmtCtx->nb_streams;i++){
    if(fileFmtCtx->streams[i]->codecpar->codec_type==AVMEDIA_TYPE_VIDEO){
        nVideoIndex = i;
    }
}
if(nVideoIndex == -1){
    qDebug() << "nVideoIndex == -1";
    return;
}
encoderPara = fileFmtCtx->streams[nVideoIndex]->codecpar;
if(nullptr == (decoder = avcodec_find_decoder(encoderPara->codec_id)))
{
    qDebug() << "avcodec_find_decoder() failed";
    return;
}
if(nullptr == (decoderCtx = avcodec_alloc_context3(decoder))){
    qDebug() << "avcodec_alloc_context3 failed";
    return;
}
if(avcodec_parameters_to_context(decoderCtx, encoderPara) < 0){
    qDebug() << "avcodec_parameters_to_context() failed";
    return;
}
if(avcodec_open2(decoderCtx, decoder, NULL) < 0){
    qDebug() << "avcodec_open2 failed";
    return;
}
swsCtx = sws_getContext(decoderCtx->width, decoderCtx->height, decoderCtx->pix_fmt,
                        decoderCtx->width, decoderCtx->height, FMT_PIC_SHOW,
                        SWS_BICUBIC, NULL, NULL, NULL);
int numBytes = av_image_get_buffer_size(FMT_PIC_SHOW, decoderCtx->width, decoderCtx->height, 1);
showBuffer = (unsigned char*)av_malloc(static_cast<unsigned long long>(numBytes) * sizeof(unsigned char));
if(av_image_fill_arrays(showFrame->data, showFrame->linesize,
                        showBuffer
                            , FMT_PIC_SHOW, decoderCtx->width, decoderCtx->height, 1) < 0)
{
    qDebug() << "av_image_fill_arrays() failed";
    return;
}
packet = av_packet_alloc();
av_new_packet(packet, decoderCtx->width * decoderCtx->height);
int ret;
while(av_read_frame(fileFmtCtx, packet) >= 0){
    if(packet->stream_index == nVideoIndex){
        if(avcodec_send_packet(decoderCtx, packet)>=0){
            while((ret = avcodec_receive_frame(decoderCtx, decodedFrame)) >= 0){
                if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
                    break;
                else if (ret < 0) {
                    break;
                }
                sws_scale(swsCtx,
                          decodedFrame->data, decodedFrame->linesize,
                          0, decoderCtx->height,
                          showFrame->data, showFrame->linesize);
                QImage img(showFrame->data[0], decoderCtx->width, decoderCtx->height, QImage::Format_RGB888);
                emit imageReady(img);
                QThread::msleep(40);
            }
        }
    }
}

下面我们逐行解析。

scss 复制代码 
avdevice_register_all();
avformat_alloc_context();

这是一些初始化工作，初始化所有组件并初始化一个AVFormatContext，AVFormatContext是一个非常重要的数据结构，它用于表示音视频封装格式的信息（封装格式是指将音频和视频流打包成一个单独的文件的方式，常见的封装格式包括AVI、MP4、MKV等）。AVFormatContext常用的关键成员有：

  1. AVInputFormat *iformat: 表示输入格式，包括名称、版本等信息。
  2. AVOutputFormat *oformat: 表示输出格式，同样包括名称、版本等信息。
  3. unsigned int nb_streams: 表示媒体文件中流的数量。
  4. AVStream **streams: 一个指向 AVStream 结构体数组的指针，表示媒体文件中的各个流。
  5. AVIOContext *pb: 文件 I/O 上下文，包含了文件读写所需的信息。
  6. char *url: 文件路径。
  7. int64_t duration: 表示媒体文件的总时长。
  8. int bit_rate: 表示媒体文件的总比特率。
  9. AVDictionary *metadata: 元数据，包括标题、作者、编码器等信息。
scss 复制代码 
QString playUrl = QCoreApplication::applicationDirPath() + "/test.mp4";
if (avformat_open_input(&fileFmtCtx, playUrl.toStdString().c_str(), nullptr, nullptr) != 0) {
    qDebug() << "avformat_open_input() failed";
    return;
}

打开一个指定的mp4文件，函数会根据文件的扩展名或文件头的特征来检测文件的格式，然后尝试使用相应的解封装器（Demuxer）来读取文件，一旦成功读取文件，会对AVFormatContext进行赋值。

我们可以在这之后打印我们上面提到的AVFormatContext关键成员信息。

erlang 复制代码 
qDebug() << "file name: " << fileFmtCtx->url;
qDebug() << "file iformat: " << fileFmtCtx->iformat->name;
qDebug() << "file duration: " << fileFmtCtx->duration << " microseconds";
qDebug() << "file bit_rate: " << fileFmtCtx->bit_rate;
​
for (unsigned int i = 0; i < fileFmtCtx->nb_streams; i++) {
    AVStream *stream = fileFmtCtx->streams[i];
    qDebug() << "Stream " << i + 1 << ":";
    qDebug() << "  Codec: " << avcodec_get_name(stream->codecpar->codec_id);
    qDebug() << "  Duration: " << stream->duration << " microseconds";
}
AVDictionaryEntry *entry = nullptr;
while ((entry = av_dict_get(fileFmtCtx->metadata, "", entry, AV_DICT_IGNORE_SUFFIX))) {
    qDebug() << entry->key << ": " << entry->value;
}

打印结果类似于下面这样的信息：

yaml 复制代码 
file name:  xxx/test.mp4
file iformat:  mov,mp4,m4a,3gp,3g2,mj2
file duration:  27696000  microseconds
file bit_rate:  0
nb_streams:
Stream  1 :
  Codec:  h264
  Duration:  2492584  microseconds
Stream  2 :
  Codec:  aac
  Duration:  1328128  microseconds
metadata:
major_brand :  mp42
minor_version :  0
compatible_brands :  isommp42
creation_time :  2018-07-18T01:30:16.000000Z
location :  +30.8214+111.0014/
location-eng :  +30.8214+111.0014/
com.android.version :  8.1.0

我们看其中一些信息：

mov,mp4,m4a,3gp,3g2,mj2代表AVFormatContext支持解析、读取和处理这些格式的媒体文件。

文件有2个流，1个h264视频流，1个aac音频流。

major_brand 和compatible_brands 是与 ISO 基本媒体文件格式（ISO Base Media File Format，简称 ISO BMFF）相关的信息，通常用于描述媒体文件的类型和兼容性。

metadata中是自定义的一些信息，可以看到还包含拍摄视频的Android版本信息。

scss 复制代码 
if(avformat_find_stream_info(fileFmtCtx, NULL) < 0){
    qDebug() << "avformat_find_stream_info() failed";
    return;
}

调用 avformat_find_stream_info 函数后，AVFormatContext 结构体中剩下的一些字段将被填充，这些字段包含了有关媒体文件流的信息。在调用这个函数之前，AVFormatContext 中的一些信息可能是不完整的或未初始化的。比如上面打印的bit_rate是0，现在你能获得真实的bit_rate。

ini 复制代码 
for(size_t i = 0;i < fileFmtCtx->nb_streams;i++){
    if(fileFmtCtx->streams[i]->codecpar->codec_type==AVMEDIA_TYPE_VIDEO){
        nVideoIndex = i;
    }
}
if(nVideoIndex == -1){
    qDebug() << "nVideoIndex == -1";
    return;
}

通过AVFormatContext->AVStream->AVCodecParameters->AVMediaType找到文件的视频流并记下流的索引。

ini 复制代码 
codecPara = fileFmtCtx->streams[nVideoIndex]->codecpar;

获取编码器参数。

scss 复制代码 
if(nullptr == (codec = avcodec_find_decoder(codecPara->codec_id)))
{
    qDebug() << "avcodec_find_decoder() failed";
    return;
}

通过编码器id获取对应的解码器。

scss 复制代码 
if(nullptr == (decoderCtx = avcodec_alloc_context3(decoder))){
    qDebug() << "avcodec_alloc_context3 failed";
    return;
}
if(avcodec_parameters_to_context(decoderCtx, encoderPara) < 0){
    qDebug() << "avcodec_parameters_to_context() failed";
    return;
}
if(avcodec_open2(decoderCtx, decoder, NULL) < 0){
    qDebug() << "avcodec_open2 failed";
    return;
}

上面三个函数的意思是：初始化一个解码器上下文AVCodecContext。通过编码器的AVCodecParameters初始化解码器的AVCodecContext。初始化并打开解码器。

通过这3个函数，我们已经具备解码的条件。

arduino 复制代码 
swsCtx = sws_getContext(decoderCtx->width, decoderCtx->height, decoderCtx->pix_fmt,
                                     decoderCtx->width, decoderCtx->height, FMT_PIC_SHOW,
                                     SWS_BICUBIC, NULL, NULL, NULL);

配置一个SwsContext，用于图像颜色格式转换和缩放。这里是针对解码后的图像和显示的图像，通常是需要经过一次转换。

第13参数代表输入图像的宽度、高度、像素格式，第36参数代表输出图像的宽度、高度、像素格式。第7个代表颜色格式转换和缩放的选项。

输入像素格式就是我们mp4文件视频流的格式，我们可以打印出来看看（打印结果是yuv420p）。输出的格式是我们自定义的，这里我们定义成AV_PIX_FMT_RGB24。SWS_BICUBIC代表双线性插值。

rust 复制代码 
qDebug() << "decoderCtx->pix_fmt:" << av_get_pix_fmt_name(decoderCtx->pix_fmt);
//输出
//decoderCtx->pix_fmt: yuv420p
arduino 复制代码 
int numBytes = av_image_get_buffer_size(FMT_PIC_SHOW, decoderCtx->width, decoderCtx->height, 1);
showBuffer = (unsigned char*)av_malloc(static_cast<unsigned long long>(numBytes) * sizeof(unsigned char));
if(av_image_fill_arrays(showFrame->data, showFrame->linesize,
                        showBuffer, FMT_PIC_SHOW, decoderCtx->width, decoderCtx->height, 1) < 0)
{
    qDebug() << "av_image_fill_arrays() failed";
    return;
}

av_image_get_buffer_size计算了计算图像数据的缓冲区大小。av_malloc分配了1个内存块给showBuffer。av_image_fill_arrays用图像参数和showBuffer初始化AVFrame的data和linesize成员，并且让AVFrame和showBuffer关联。

av_image_fill_arrays有2个关键参数：

  • uint8_t *dst_data[4]

    指针数组，包含了指向图像数据平面的指针。在图像处理中，图像通常被分解为不同的平面，每个平面都包含了一定的信息，例如亮度（Y）、色度（U、V）等。dst_data[0] 通常指向亮度平面，而 dst_data[1] 和 dst_data[2] 则分别指向色度平面。dst_data[3] 可能用于 alpha 通道，具体取决于图像格式。在大多数情况下，RGB图像只有一个平面，因此通常会传递一个大小为4的数组，但只使用第一个元素（dst_data[0]）。

  • int dst_linesize[4]

    整数数组，包含了对应平面的每行的字节数。图像的每个平面都是通过一系列的字节来表示的，dst_linesize[0] 表示亮度平面每行的字节数，而 dst_linesize[1] 和 dst_linesize[2] 则分别表示色度平面每行的字节数。dst_linesize[3] 可能用于 alpha 通道。

scss 复制代码 
av_read_frame(fileFmtCtx, packet) >= 0

从文件中读取一个数据包AVPacket，一个AVPacket的载荷是编码器输出的一个编码后的单元，可以理解为UDP协议中的分包。

scss 复制代码 
avcodec_send_packet(decoderCtx, packet)>=0

将AVPacket送入解码器进行解码。

ini 复制代码 
ret = avcodec_receive_frame(decoderCtx, decodedFrame)) >= 0

尝试从解码器中接收已解码的视频帧，并将接收到的帧数据存储在decodedFrame中，因为一个AVPacket不一定能解码出一帧图像，所以avcodec_receive_frame是有可能返回失败的。

rust 复制代码 
sws_scale(swsCtx,decodedFrame->data, decodedFrame->linesize,
                              0, decoderCtx->height,
                              showFrame->data, showFrame->linesize);

将decodedFrame中的数据从一个颜色空间（YUV）转换为另一个颜色空间（RGB），并按需求对图像进行缩放操作。

css 复制代码 
QImage img(showFrame->data[0], decoderCtx->width, decoderCtx->height, QImage::Format_RGB888);
emit imageReady(img);
QThread::msleep(40);

最后我们生成QImage并用信号发出显示，处理一张图片的间隔是40ms，也就是产生25帧/秒的视频。

遇到任何问题请直接加微信（JoggingJack）联系我（博客留言效果不好，我不会经常check）。

相关推荐
EasyCVR10 小时前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流，WebRTC播放出现抖动、卡顿如何解决？
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
简鹿办公11 小时前
使用 FFmpeg 进行音视频转换的相关命令行参数解释
ffmpeg·简鹿视频格式转换器·ffmpeg视频转换
EasyCVR14 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台（ISUP）接入EasyCVR不在线如何排查？
运维·服务器·网络·人工智能·ffmpeg·音视频
runing_an_min14 小时前
ffmpeg 视频滤镜：屏蔽边框杂色- fillborders
ffmpeg·音视频·fillborders
岁月小龙1 天前
如何让ffmpeg运行时从当前目录加载库，而不是从/lib64
ffmpeg·origin·ffprobe·rpath
行者记2 天前
ffmpeg命令——从wireshark包中的rtp包中分离h264
测试工具·ffmpeg·wireshark
EasyCVR2 天前
国标GB28181视频平台EasyCVR私有化视频平台工地防盗视频监控系统方案
运维·科技·ffmpeg·音视频·1024程序员节·监控视频接入
hypoqqq2 天前
使用ffmpeg播放rtsp视频流
ffmpeg
cuijiecheng20182 天前
音视频入门基础：FLV专题（24）——FFmpeg源码中，获取FLV文件视频信息的实现
ffmpeg·音视频
QMCY_jason2 天前
黑豹X2 armbian 编译rkmpp ffmpeg 实现CPU视频转码
ffmpeg
热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测05(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明06【经验分享】Ubuntu22.04安装微信(linux官方版)07【TC3xx芯片】TC3xx芯片电源管理系统PMS详解08全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）09RAG 实践- Ollama+RagFlow 部署本地知识库10你还在傻傻的打开页面输用户名和密码？来我教你实现自动化