个人学习总结__打开摄像头、播放网络视频的以及ffmpeg推流

前言

最近入手了一款非常便宜的usb摄像头（买回来感觉画质很低，没有描述的4k，不过也够用于学习了）,想着利用它来开启流媒体相关技术的学习。第一步便是打开摄像头，从而才能够对它进行一系列后续操作，诸如实时编解码，推流摄像头采集的数据等等。

本篇文章记录了如何通过QT、libvlc、ffmpeg三种方式来调用usb摄像头，顺带讲述了如何播放http网络视频流。以及如何搭建一个srs流媒体服务器。如代码有逻辑错误或者可优化，欢迎大家指正！希望和大家共同进步。

VS2022 + QT 调用usb摄像头

vs2022如果还没配置QT可参考博客: https://blog.csdn.net/H0893_888/article/details/129772600

第一步: vs2022新建一个Qt Widgets Application

第二步: 填写项目名称和项目位置，大家随意

第三步: qt向导中进行如下勾选(这里没选全，后续也可再更改)

主要代码

void Qt_Camera::openCamera(void)
{
    //获取可用摄像头列表信息
    QList<QCameraInfo> cameras = QCameraInfo::availableCameras();
    for(auto camera: cameras)
    {
        qDebug() << camera;
    }
    
    /* 创建摄像头对象
     * QCamera *camera = new QCamera;
     * 这里使用QCameraInfo::availableCameras().at(1)是因为0为电脑自带的摄像头，1为usb摄像头
     */
    QCamera *camera = new QCamera(QCameraInfo::availableCameras().at(1));
    
    // 创建摄像头取景器对象
    QCameraViewfinder *finder = new QCameraViewfinder;
    
    // 设置取景器为摄像头的视图
    camera->setViewfinder(finder);
    camera->setCaptureMode(QCamera::CaptureVideo);
    
    //创建图像捕获对象
    QCameraImageCapture *imageCapture = new QCameraImageCapture(camera);
    
    //设置图片保存路径
    imageCapture->setCaptureDestination(QCameraImageCapture::CaptureToFile);
    
    // 创建布局管理器
    QVBoxLayout *layout = new QVBoxLayout;
    layout->addWidget(finder);

    // 创建拍照按钮
    QPushButton *captureButton = new QPushButton("Capture");
    layout->addWidget(captureButton);

    //信号与槽连接
    connect(imageCapture, &QCameraImageCapture::imageCaptured, this, &MainWindow::takePhoto);
    
    // 连接拍照按钮的点击事件到图像捕获对象的拍照槽函数
    connect(captureButton, &QPushButton::clicked, [=](){
        imageCapture->capture();
    });

    // 创建主窗口
    QWidget *window = new QWidget;

    window->setLayout(layout);
    window->show();
    // 启动摄像头
    camera->start();
}

/* 这里的 id 和 image 参数 由 QCameraImageCapture::imageCaptured 这个信号传递过来 */
void Qt_Camera::takePhoto(int id, const QImage &image)
{
    //使用系统时间来命名图片的名称，时间是唯一的，图片名也是唯一的
    QDateTime dateTime(QDateTime::currentDateTime());
    QString time = dateTime.toString("yyyy-MM-dd-hh-mm-ss");
    
    //创建图片保存路径名
    QString filename = QString("D:/%1.jpg").arg(time);
    
    //保存一帧数据
    image.save(filename);
    
    //提示获取到了一帧数据
    QMessageBox::information(this, "提示：", "获取到一帧图片");
}

效果图

VS2022 + libvlc 调用usb摄像头/网络视频/本地视频

libvlc官网下载: https://download.videolan.org/pub/videolan/vlc/ (32/64位自选)

第一步: 创建空项目

第二步: 填写项目名称/路径，大家随意

第三步: 新建一个main.cpp

第四步: 拷贝libvlc至项目路径下

第五步: 拷贝libvlc下的所有内容至项目路径下(plugins、libvlc.dll、libvlccore.dll)
注意: 如果忘记拷贝 plugins 文件夹，无法通过 libvlc_new 得到 libvlc_instance_t* 类型的一个实例。

第六步: 获取usb摄像头名称，libvlc中需要先获得usb摄像头的名称

1 打开电脑中计算机管理
2 点击设备管理器
3 点击照相机，下方即为电脑摄像头设备名称

main.cpp代码(这里使用C++代码,相对清爽一些)

#include <iostream>

#include "vlc/vlc.h"

using namespace std;

void setMedia(const char* url)
{
	//判断url是否为空
	if (!url)
	{
		cout << "url is nullptr!" << endl;
		return;
	}

	libvlc_instance_t* vlcInstance = libvlc_new(0, nullptr);
	//判断vlc实例是否为空
	if (!vlcInstance)
	{
		cout << "vlcInstance is nullptr!" << endl;
		return;
	}

	//创建媒体
	//libvlc_media_t *vlcMedia= libvlc_media_new_path(vlcInstance,url); //播放本地视频文件
	//libvlc_media_t* vlcMedia = libvlc_media_new_location(vlcInstance, "http://sovv.qianpailive.com/a455359ee41b684baaf0e4a094ee34c4/1714302042/b740/20240427/e5eba6250b87047662500bd5a3356465?a=ylu7kvm4yc47&t=1714302042023730569&u=el2KNaf9FEzbwLuS6FKdUaqObdUwp2i5Q7qqeWI3&vid=Vjkz13DanVMG"); //播放网络视频文件
	libvlc_media_t* vlcMedia = libvlc_media_new_location(vlcInstance, "dshow://DV20 USB CAMERA");   //打开usb摄像头

	if (!vlcMedia)
	{
		cout << "vlcMedia is nullptr!" << endl;
		return;
	}

	//创建媒体播放器
	libvlc_media_player_t* vlcMediaPlayer = libvlc_media_player_new_from_media(vlcMedia);
	if (!vlcMediaPlayer)
	{
		cout << "vlcMediaPlayer is nullptr!" << endl;
		return;
	}

	libvlc_media_player_play(vlcMediaPlayer);
	getchar();

	//释放媒体播放器
	if (vlcMediaPlayer)
	{
		libvlc_media_player_release(vlcMediaPlayer);
	}

	//释放媒体
	if (vlcMedia)
	{
		libvlc_media_release(vlcMedia);
	}

	//释放vlc实例
	if (vlcInstance)
	{
		libvlc_release(vlcInstance);
	}

}

int main(void)
{
	setMedia("D:\\3.flv");    //传递播放媒体url
	cout << "hello vlc" << endl;
	getchar();
	return 0;
}

效果图:

本地视频
网络视频
摄像头采集一帧画面（感觉不是很清晰）

VS2022 + ffmpeg + sdl 摄像头采集数据

不了解 ffmpeg 和 sdl 可参考我的上一篇博客: https://blog.csdn.net/m0_73431159/article/details/138195924

由于上一篇已经讲过 ffmpeg + sdl 在 vs2022 中的环境配置，这里就不再赘述了。

ffmpeg可以直接用命令行查看摄像头设备名

可先使用chcp 65001 临时改变 cmd 窗口编码格式为 utf-8

ffmpeg -list_devices true -f dshow -i dummy

代码

#pragma warning(disable:4996)

#include <stdio.h>

extern "C"  // ffmpeg有C语言编写，这里为cpp文件
{
#include "libavformat/avformat.h"
#include "libavcodec/avcodec.h"
#include "libswscale/swscale.h"
#include "libavdevice/avdevice.h"
#include "SDL/SDL.h"
#include "SDL/SDL_thread.h"
}

#undef main   // sdl中已有main的相关定义

#define REFRESH_EVENT  (SDL_USEREVENT + 1)  // 自定义事件

int thread_exit = 0;    //线程循环状态变量

int refresh_thread(void* opaque)
{
    while (thread_exit == 0) {
        SDL_Event event;
        event.type = REFRESH_EVENT; // 将事件类型定为REFRESH_EVENT
        SDL_PushEvent(&event);  // 送入事件队列中
        SDL_Delay(40);   // 如果是打开摄像头，可注释该行。如果是播放视频，该行表示每秒25帧
    }
    return 0;
}**加粗样式**

int main(void)
{
    //-----------ffmpeg------------
    AVFormatContext* pFormatContext = NULL;     //封装格式上下文
    AVDictionary* opts = NULL;  // 字典
    const char* url = "http://sovv.qianpailive.com/6ddf66db8dc4449123e9f93259db899b/1714201703/cf05/20231002/c36e0216c67cdfb009dcd1467ac4075f?a=ylu7kvm4yc47&t=1714201703527245094&u=lEqwQq9pxNSGX4uxOLgaVBmDh9FrvJwoKTdAX6t2&vid=8jLl7AGQLxjA";    //网络视频地址
    int videoIndex = -1;    //视频流索引号
    int i = 0;  // 循环变量
    AVCodecContext* pCodecContext = NULL;   // 编解码上下文
    AVCodec* pCodec = NULL;     // 编解码器
    AVPacket* packet = NULL;    // 解码前一帧视频数据
    AVFrame* pFrame = NULL;     // 解码后一帧数据
    AVFrame* pFrameYUV = NULL;  // 裁剪后一帧数据
    struct SwsContext* img_convert_ctx = NULL;  //像素格式转换等

    //-------------SDL-------------
    SDL_Surface* screen;    //画布
    int screen_w = 0, screen_h = 0;
    SDL_Overlay* bmp;   //涂层叠层
    SDL_Rect rect;  //绘图区域
    int ret, got_picture;   
    SDL_Thread* video_tid;  //线程
    SDL_Event event;    //事件

    av_register_all();  // 注册所有组件
    avformat_network_init();    //网络初始化
    avdevice_register_all();    //注册所有设备

#if 0   //如果想要播放网络流视频，将其置 1j
    /*  加上一些限制条件 */
    av_dict_set(&opts, "http_transport", "tcp", 0);
    av_dict_set(&opts, "max_delay", "500", 0);

    pFormatContext = avformat_alloc_context();
    /*  打开网络视频 */
    if (avformat_open_input(&pFormatContext, url, NULL, &opts) != 0)
    {
        printf("Can't open input !\n");
        return -1;
    }
#else
    pFormatContext = avformat_alloc_context();

    /* DShow是DirectShow的简称，它是一种用于Windows平台的多媒体框架 */
    pFormatContext->iformat = av_find_input_format("dshow");
    // pFormatContext->iformat = av_find_input_format("vfwcap");
    /*  打开摄像头作为输入 */
    if (avformat_open_input(&pFormatContext, "video=DV20 USB CAMERA", pFormatContext->iformat, NULL) != 0)
    {
        printf("Can't open input !\n");
        return -1;
    }
#endif
    /*  获取流信息 */
    if (avformat_find_stream_info(pFormatContext, NULL) < 0)
    {
        printf("Couldn't find stream information.\n");
        return -1;
    }

    /* 寻找视频流 */
    for (int i = 0; i < pFormatContext->nb_streams; i++)
    {
        if (pFormatContext->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            videoIndex = i;
            break;
        }
    }
    
    /*  判断是否找到视频流 */
    if (videoIndex == -1)
    {
        printf("Can't find video stream !\n");
        return -1;
    }

    pCodecContext = pFormatContext->streams[videoIndex]->codec; //获取解码器上下文
    pCodec = avcodec_find_decoder(pCodecContext->codec_id);     //获取解码器
    
    /*  判断是否成功获取解码器  */
    if (pCodec == NULL) 
    {
        printf("Can't find decoder !\n");
        return -1;
    }

    /*  打开解码器是否成功 */
    if (avcodec_open2(pCodecContext, pCodec, NULL) < 0)
    {
        printf("Can't open decoder !\n");
        return -1;
    }

    /*  分配空间  */
    packet = (AVPacket*)av_malloc(sizeof(AVPacket));
    pFrame = avcodec_alloc_frame();
    pFrameYUV = avcodec_alloc_frame();

    /*  初始化SDL子系统 */
    if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
        printf("Could not initialize SDL - %s\n", SDL_GetError());
        return -1;
    }

    /*  获取宽、高  */
    screen_w = pCodecContext->width;
    screen_h = pCodecContext->height;

    /*
     * SDL_SetVideoMode是一个用于设置SDL窗口的宽、高度、位深度和标志的函数。
     * @return 返回一个指向SDL_Surface结构的针，该结构表示窗口的表面。
     */
    screen = SDL_SetVideoMode(screen_w, screen_h, 0, 0);

    if (!screen) {
        printf("SDL: could not set video mode - exiting:%s\n", SDL_GetError());
        return -1;
    }

    /*
     * SDL_CreateYUVOverlay函数: SDL库中用于创建YUV覆盖的函数。YUV覆盖是一种用于在屏幕上显示视频的数据结构。
     * SDL_YV12_OVERLAY是SDL库中的一个宏定义，用于创建一个YV12格式的图像叠加层（overlay）。
     * YV12是一种颜色编码格式，常用于视频图像的处理和显示。
     * YV12格式将图像的亮度（Y）和色度（UV）分开存储，可以有效地压缩图像数据并提高图像质量。
     */
    bmp = SDL_CreateYUVOverlay(pCodecContext->width, pCodecContext->height, SDL_YV12_OVERLAY, screen);
    
    rect.x = 0;
    rect.y = 0;
    rect.w = screen_w;
    rect.h = screen_h;
 
    /* 图片格式转换 */
    img_convert_ctx = sws_getContext(pCodecContext->width, pCodecContext->height, pCodecContext->pix_fmt, pCodecContext->width, pCodecContext->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);
    
    /* 创建一个线程 */
    video_tid = SDL_CreateThread(refresh_thread, NULL);
    
    /* SDL_WM_SetCaption函数是SDL库中的一个函数，用于设置显示窗口的标题和图标 */
    SDL_WM_SetCaption("MyCameraTest", NULL);
 
    while(1)
    {
        //等待事件到来
        SDL_WaitEvent(&event);

        /* 判断事件类型是否为REFRESH_EVENT，是则读帧 */
        if (event.type == REFRESH_EVENT) 
        {
            //------------------------------
            if (av_read_frame(pFormatContext, packet) >= 0) 
            {
                //判断是否为视频帧
                if (packet->stream_index == videoIndex) 
                {
                    //解码packet
                    ret = avcodec_decode_video2(pCodecContext, pFrame, &got_picture, packet);
                    if (ret < 0) 
                    {
                        printf("Decode Error.\n");
                        return -1;
                    }
                    
                    //判断是否获得一帧画面
                    if (got_picture)
                    {
                        /* SDL_LockYUVOverlay函数用于锁定YUV覆盖层，以便在其上进行像素操作。 */
                        SDL_LockYUVOverlay(bmp);
                        pFrameYUV->data[0] = bmp->pixels[0];
                        pFrameYUV->data[1] = bmp->pixels[2];
                        pFrameYUV->data[2] = bmp->pixels[1];
                        pFrameYUV->linesize[0] = bmp->pitches[0];
                        pFrameYUV->linesize[1] = bmp->pitches[2];
                        pFrameYUV->linesize[2] = bmp->pitches[1];

                        /*
                         * sws_scale是一个图像缩放函数，用于将输入图像缩放到指定的输出尺寸。
                         * c：SwsContext结构体指针，包含了图像缩放的相关参数。
                         * srcSlice：输入图像数据的指针数组，每个指针指向一个输入图像平面。
                         * srcStride：输入图像数据的步长数组，每个步长对应一个输入图像平面。
                         * srcSliceY：输入图像的起始行数。
                         * srcSliceH：输入图像的高度。
                         * dst：输出图像数据的指针数组，每个指针指向一个输出图像平面。
                         * dstStride：输出图像数据的步长数组，每个步长对应一个输出图像平面。
                         */
                        sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecContext->height, pFrameYUV->data, pFrameYUV->linesize);

                        /*
                         * SDL_UnlockYUVOverlay函数: SDL库中用于解锁YUV叠加层的函数。
                         * 它的作用是解锁一个已经锁定的YUV叠加层，以便可以对其进行修改或者渲染操作。
                         * @param overlay 是一个指向SDL_Overlay结构体的指针，它表示要解锁的YUV叠加层。
                         */
                        SDL_UnlockYUVOverlay(bmp);

                        /*
                         * SDL_DisplayYUVOverlay函数: SDL库中用于显示YUV覆盖层的函数。
                         * @param overlay：指向SDL_Overlay结构的指针，表示要显示的YUV覆盖层。
                         * @param dstrect：指向SDL_Rect结构的指针，表示覆盖层在屏幕上的位置和大小。
                         */
                        SDL_DisplayYUVOverlay(bmp, &rect);

                    }
                }

                //free a packet
                av_free_packet(packet);
            }
            else 
            {
                //Exit Thread
                thread_exit = 1;
                break;
            }
        }

        // 事件类型为退出事件则退出循环
        else if (event.type == SDL_QUIT)
        {
            thread_exit = 1;
            break;
        }

    }
    
    /* 关闭释放相关资源 */
    sws_freeContext(img_convert_ctx);
    SDL_Quit();     
    av_free(pFrameYUV);
    avcodec_close(pCodecContext);
    avformat_close_input(&pFormatContext);

    return 0;
}

效果图:

搭建srs流媒体服务器

srs官⽹：https://github.com/ossrs/srs

码云的源速度快：https://gitee.com/winlinvip/srs.oschina.git

github的源速度慢：https://github.com/ossrs/srs.git

第⼀步，获取SRS

git clone https://gitee.com/winlinvip/srs.oschina.git

cd srs.oschina

git checkout -b 5.0 remotes/origin/5.0release

cd trunk

第二步，编译SRS

./configure && make

第三步，编写SRS配置⽂件

将以下内容保存为⽂件，譬如 conf/rtmp.conf ，服务器启动时指定该配置⽂件(srs的conf⽂件夹有该⽂件)。

# conf/rtmp.conf
listen        1935;
max_connections   1000;
vhost __defaultVhost__ {
}

第四步，启动srs

./objs/srs -c conf/rtmp.conf

第五步，启动推流编码器

视频推流

ffmpeg -re -i 3.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.72.128/live/livestream

摄像头推流

ffmpeg -f dshow -i video="Integrated Camera" -c:v libx264 -preset ultrafast -tune zerolatency -f flv rtmp://192.168.72.128/live/livestream

这里需要根据每个人的实际情况进行填写，如: 3.flv 需替换成您电脑的视频地址

rtmp后面的地址也得改成实际的服务器地址

第六步，观看RTMP流。

可以使用ffplay rtmp://192.168.72.128/live/livestream
可以使用vlc播放器进行拉流播放

注意:如果是在虚拟机上进行测试，记得关闭虚拟机防火墙