Qt QML实现视频帧提取

前言

视频帧率(Frame Rate)是指视频播放时每秒显示的画面帧数,通常用fps(Frames Per Second)来表示。视频是由一系列静止的图像帧组成的,而视频帧率则决定了这些图像帧在单位时间内播放的速度。较高的视频帧率可以提供更流畅的视频画面,而较低的视频帧率则可能导致画面卡顿和不连贯的情况

在实际的应用开发中,经常会遇到需要处理视频的情况,例如提取视频帧用于图像处理、分析等应用。本文将介绍如何利用Qt QML实现视频帧的提取,通过简单的代码示例将图片提取保存到本地中。

效果

先看运行效果:

正文

本示例通过QML实现UI,Qt5.15 cmake编译,使用多线程处理提取,保证UI主线程不会卡顿,将提取的图片保存到本地。

提取部分,关键代码:

复制代码
void FrameExtractor::stopProcessing()
{
    qDebug() << "停止帧提取处理";
    m_running.store(0);
    
    // 清空队列,避免处理不必要的帧
    QMutexLocker locker(&m_mutex);
    if (!m_frameQueue.isEmpty()) {
        qDebug() << "清空帧队列,当前队列长度: " << m_frameQueue.size();
        m_frameQueue.clear();
    }
    
    // 唤醒等待中的线程
    m_condition.wakeOne();
}

void FrameExtractor::processFrames()
{
    qDebug() << "开始处理视频帧";
    
    while (m_running.load()) {
        QVideoFrame frame;
        
        // 获取下一帧
        {
            QMutexLocker locker(&m_mutex);
            
            // 如果队列为空且没有更多帧,则结束处理
            if (m_frameQueue.isEmpty() && m_noMoreFrames.load()) {
                qDebug() << "队列为空且没有更多帧,结束处理";
                break;
            }
            
            // 如果队列为空,等待新帧
            if (m_frameQueue.isEmpty()) {
                qDebug() << "队列为空,等待新帧...";
                m_condition.wait(&m_mutex);
                qDebug() << "等待结束,继续处理";
                continue;
            }
            
            frame = m_frameQueue.dequeue();
            qDebug() << "从队列中获取一帧,当前队列长度: " << m_frameQueue.size();
        }
        
        // 处理帧
        if (frame.isValid()) {
            QVideoFrame cloneFrame(frame);
            if (cloneFrame.map(QAbstractVideoBuffer::ReadOnly)) {
                // 将视频帧转换为QImage
                QImage image;
                
                switch (cloneFrame.pixelFormat()) {
                case QVideoFrame::Format_RGB32:
                case QVideoFrame::Format_ARGB32:
                case QVideoFrame::Format_ARGB32_Premultiplied:
                    image = QImage(cloneFrame.bits(),
                                  cloneFrame.width(),
                                  cloneFrame.height(),
                                  cloneFrame.bytesPerLine(),
                                  QImage::Format_RGB32);
                    break;
                case QVideoFrame::Format_RGB24:
                    image = QImage(cloneFrame.bits(),
                                  cloneFrame.width(),
                                  cloneFrame.height(),
                                  cloneFrame.bytesPerLine(),
                                  QImage::Format_RGB888);
                    break;
                case QVideoFrame::Format_YUYV:
                case QVideoFrame::Format_UYVY:
                case QVideoFrame::Format_YUV420P:
                case QVideoFrame::Format_YV12:
                case QVideoFrame::Format_NV12:
                case QVideoFrame::Format_NV21:
                {
                    // 对于YUV格式,需要进行颜色空间转换
                    // 这里简化处理,将其转换为灰度图像
                    qDebug() << "处理YUV格式视频帧: " << cloneFrame.pixelFormat() 
                             << "宽度: " << cloneFrame.width() 
                             << "高度: " << cloneFrame.height();
                    
                    // 安全地创建灰度图像
                    image = QImage(cloneFrame.width(), cloneFrame.height(), QImage::Format_Grayscale8);
                    
                    // 只处理Y平面数据,避免访问UV平面导致的问题
                    const uchar *bits = cloneFrame.bits();
                    int bytesPerLine = cloneFrame.bytesPerLine();
                    
                    // 限制处理范围,避免越界访问
                    int maxHeight = qMin(cloneFrame.height(), image.height());
                    int maxWidth = qMin(cloneFrame.width(), image.width());
                    
                    try {
                        for (int y = 0; y < maxHeight; ++y) {
                            for (int x = 0; x < maxWidth; ++x) {
                                // 只取Y分量作为灰度值
                                uchar value = bits[y * bytesPerLine + x];
                                image.setPixelColor(x, y, QColor(value, value, value));
                            }
                        }
                        qDebug() << "YUV帧处理完成";
                    } catch (const std::exception &e) {
                        qDebug() << "处理YUV帧时发生异常: " << e.what();
                        // 如果发生异常,创建一个空白图像
                        image = QImage(cloneFrame.width(), cloneFrame.height(), QImage::Format_Grayscale8);
                        image.fill(Qt::black);
                    }
                    break;
                }
                default:
                    // 对于其他格式,尝试转换为RGB32
                    image = QImage(cloneFrame.bits(),
                                  cloneFrame.width(),
                                  cloneFrame.height(),
                                  cloneFrame.bytesPerLine(),
                                  QImage::Format_RGB32).copy();
                    break;
                }
                
                // 保存图像
                if (!image.isNull()) {
                    QString fileName = QString("%1/frame_%2.jpg")
                            .arg(m_outputDir)
                            .arg(m_extractedCount, 6, 10, QChar('0'));
                    
                    qDebug() << "正在保存图像到: " << fileName;
                    
                    if (image.save(fileName, "JPG")) {
                        m_extractedCount++;
                        qDebug() << "图像保存成功,已提取: " << m_extractedCount << "/" << m_frameCount;
                        emit progressUpdated(m_extractedCount, m_frameCount);
                    } else {
                        qDebug() << "图像保存失败: " << fileName;
                    }
                } else {
                    qDebug() << "无法保存空图像,跳过当前帧";
                }
                
                cloneFrame.unmap();
            }
        }
    }
    
    // 处理完成
    emit finished();
}

本文代码下载

相关推荐
我叫小白菜1 小时前
【Java_EE】单例模式、阻塞队列、线程池、定时器
java·开发语言
狐凄1 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
weixin_446122462 小时前
JAVA内存区域划分
java·开发语言·redis
悦悦子a啊2 小时前
Python之--基本知识
开发语言·前端·python
QuantumStack3 小时前
【C++ 真题】P1104 生日
开发语言·c++·算法
whoarethenext3 小时前
使用 C++/OpenCV 和 MFCC 构建双重认证智能门禁系统
开发语言·c++·opencv·mfcc
代码的奴隶(艾伦·耶格尔)4 小时前
后端快捷代码
java·开发语言
Jay_5154 小时前
C++多态与虚函数详解:从入门到精通
开发语言·c++
路来了4 小时前
Python小工具之PDF合并
开发语言·windows·python
追风赶月、5 小时前
【QT】事件(鼠标、按键、定时器、窗口)
qt