FFmpeg音视频采集

文章目录

音视频采集

DirectShow(简称DShow)是一个Windows平台上的流媒体框架,提供了高质量的多媒体流采集和回放功能,它支持多种多样的媒体文件格式,包括ASF、MPEG、AVI、MP3和WAV文件,同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。

  • DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时,也为用户自定义的解决方案提供了底层流控制框架,从而使用户可以自行创建支持新的文件格式或其他用户的DirectShow组件。
  • DirectShow专为C++而设计。Microsoft不提供用于DirectShow的托管API。
  • DirectShow是基于组件对象模型(COM)的,因此当你编写DirectShow应用程序时,你必须具备COM客户端程序编写的知识。对于大部分的应用程序,你不需要实现自己的COM对象,DirectShow提供了大部分你需要的DirectShow组件,但是假如你需要编写自己的DirectShow组件来进行扩充,那么你必须编写实现COM对象。
  • 使用DirectShow编写的典型应用程序包括:DVD播放器、视频编辑程序、AVI到ASF转换器、MP3播放器和数字视频采集应用。

音频采集

获取设备信息

cpp 复制代码
void Widget::capture()
{
    avdevice_register_all(); // 注册所有的设备
    qDebug() << "注册设备完成";
    AVFormatContext *fmt_ctx = avformat_alloc_context();            // 分配一个格式上下文
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    AVDeviceInfoList *dev_list = nullptr; // 设备信息列表

    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }

    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        qDebug() << "设备名称: " << dev_list->devices[i]->device_name;
        qDebug() << "设备描述: " << dev_list->devices[i]->device_description;
        // qDebug() << "设备类型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));
        qDebug() << "------------------------";
    }
    avdevice_free_list_devices(&dev_list);
    qDebug() << "设备信息获取完成";
}

录制麦克风

cpp 复制代码
void Widget::recordMicrophone()
{
    const char *output_file = "../../output/record.pcm"; // 输出文件路径
    avdevice_register_all();                             // 注册所有的设备
    AVDeviceInfoList *dev_list = nullptr;                // 设备信息列表

    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }
    std::string device_name = "audio=";
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判断设备类型是否为音频
            {
                device_name += dev_info->device_name; // 获取设备名称
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文

    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间

    AVPacket packet;                             // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录音10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录音结束";
}

通过ffplay指令播放

录制声卡

跟麦克风录制一样,略

视频采集

查看支持的设备信息

bash 复制代码
 ffmpeg -list_devices true -f dshow -i dummy
bash 复制代码
ffmpeg -f dshow -list_options true -i video="USB Camera"

摄像机画面采集

c 复制代码
void Widget::recordCamera()
{
    const char *output_file = "../../output/record.yuv"; // 输出文件名
    avdevice_register_all();                             // 注册所有设备
    AVDeviceInfoList *dev_list = nullptr;
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息失败";
        return;
    }
    std::string device_name = "video="; // 设备名称
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判断设备类型是否为视频
            {
                device_name += dev_info->device_name;
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVDictionary *options = nullptr;
    av_dict_set(&options, "pixel_format", "yuyv422", 0); // 设置像素格式
    av_dict_set(&options, "video_size", "1280x720", 0);  // 设置视频大小
    av_dict_set(&options, "framerate", "10", 0);         // 设置帧率

    AVFormatContext *fmt_ctx = avformat_alloc_context();                           // 分配一个格式上下文
    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间
    AVPacket packet;                                     // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0)         // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录像10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录像结束";
}
相关推荐
向阳花开_miemie1 小时前
Android音频学习(十七)——音频数据流转
学习·音视频
小周不长肉2 小时前
视频串行解串器(SerDes)介绍
音视频
懒人村杂货铺2 小时前
[特殊字符] 跨端视频通话实战:腾讯云 TRTC + IM(React Native & Web)
react native·音视频·腾讯云
昨日之日20069 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
hnxaoli13 小时前
win10(三)视频剪裁
音视频
ai产品老杨16 小时前
驱动物流创新与协同,助力物流行业可持续发展的智慧物流开源了
人工智能·开源·音视频·能源
xingxing_F18 小时前
SoundSource for Mac 音频控制工具
macos·音视频
音视频牛哥18 小时前
AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
人工智能·音视频·人工智能+·ai+ 行动意见·rtsp/rtmp 播放器·低空经济视频链路·工业巡检视频传输
BUG创建者20 小时前
uni 拍照上传拍视频上传以及相册
前端·javascript·音视频
无线图像传输研究探索21 小时前
无定位更安全:5G 高清视频终端的保密场景适配之道
5g·安全·音视频·无人机·5g单兵图传·单兵图传·无人机图传