文章目录
音视频采集
DirectShow（简称DShow）是一个Windows平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能，它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。
- DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时，也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其他用户的DirectShow组件。
- DirectShow专为C++而设计。Microsoft不提供用于DirectShow的托管API。
- DirectShow是基于组件对象模型（COM）的，因此当你编写DirectShow应用程序时，你必须具备COM客户端程序编写的知识。对于大部分的应用程序，你不需要实现自己的COM对象，DirectShow提供了大部分你需要的DirectShow组件，但是假如你需要编写自己的DirectShow组件来进行扩充，那么你必须编写实现COM对象。
- 使用DirectShow编写的典型应用程序包括：DVD播放器、视频编辑程序、AVI到ASF转换器、MP3播放器和数字视频采集应用。
音频采集
获取设备信息
cpp
void Widget::capture()
{
avdevice_register_all(); // 注册所有的设备
qDebug() << "注册设备完成";
AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文
const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
if (!input_fmt)
{
qDebug() << "找不到输入格式";
return;
}
AVDeviceInfoList *dev_list = nullptr; // 设备信息列表
int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
if (ret < 0)
{
qDebug() << "获取设备信息列表失败";
return;
}
for (int i = 0; i < dev_list->nb_devices; i++)
{
qDebug() << "设备名称: " << dev_list->devices[i]->device_name;
qDebug() << "设备描述: " << dev_list->devices[i]->device_description;
// qDebug() << "设备类型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));
qDebug() << "------------------------";
}
avdevice_free_list_devices(&dev_list);
qDebug() << "设备信息获取完成";
}录制麦克风
cpp
void Widget::recordMicrophone()
{
const char *output_file = "../../output/record.pcm"; // 输出文件路径
avdevice_register_all(); // 注册所有的设备
AVDeviceInfoList *dev_list = nullptr; // 设备信息列表
const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
if (!input_fmt)
{
qDebug() << "找不到输入格式";
return;
}
int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
if (ret < 0)
{
qDebug() << "获取设备信息列表失败";
return;
}
std::string device_name = "audio=";
for (int i = 0; i < dev_list->nb_devices; i++)
{
AVDeviceInfo *dev_info = dev_list->devices[i];
if (dev_info)
{
if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判断设备类型是否为音频
{
device_name += dev_info->device_name; // 获取设备名称
break;
}
}
}
avdevice_free_list_devices(&dev_list); // 释放设备信息列表
AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文
ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打开输入设备
if (ret < 0)
{
qDebug() << "打开输入设备失败";
return;
}
av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息
std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
if (!output.is_open())
{
qDebug() << "打开输出文件失败";
return;
}
auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间
AVPacket packet; // 分配一个数据包
while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包
{
output.write((char *)packet.data, packet.size); // 写入数据包
av_packet_unref(&packet); // 释放数据包
if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录音10秒后停止
break;
}
output.close(); // 关闭输出文件
avformat_close_input(&fmt_ctx); // 关闭输入设备
avformat_free_context(fmt_ctx); // 释放格式上下文
qDebug() << "录音结束";
}通过ffplay指令播放
录制声卡
跟麦克风录制一样，略
视频采集
查看支持的设备信息
bash
ffmpeg -list_devices true -f dshow -i dummy
bash
ffmpeg -f dshow -list_options true -i video="USB Camera"
摄像机画面采集
c
void Widget::recordCamera()
{
const char *output_file = "../../output/record.yuv"; // 输出文件名
avdevice_register_all(); // 注册所有设备
AVDeviceInfoList *dev_list = nullptr;
const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
if (!input_fmt)
{
qDebug() << "找不到输入格式";
return;
}
int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
if (ret < 0)
{
qDebug() << "获取设备信息失败";
return;
}
std::string device_name = "video="; // 设备名称
for (int i = 0; i < dev_list->nb_devices; i++)
{
AVDeviceInfo *dev_info = dev_list->devices[i];
if (dev_info)
{
if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判断设备类型是否为视频
{
device_name += dev_info->device_name;
break;
}
}
}
avdevice_free_list_devices(&dev_list); // 释放设备信息列表
AVDictionary *options = nullptr;
av_dict_set(&options, "pixel_format", "yuyv422", 0); // 设置像素格式
av_dict_set(&options, "video_size", "1280x720", 0); // 设置视频大小
av_dict_set(&options, "framerate", "10", 0); // 设置帧率
AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文
ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打开输入设备
if (ret < 0)
{
qDebug() << "打开输入设备失败";
return;
}
av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息
std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
if (!output.is_open())
{
qDebug() << "打开输出文件失败";
return;
}
auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间
AVPacket packet; // 分配一个数据包
while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包
{
output.write((char *)packet.data, packet.size); // 写入数据包
av_packet_unref(&packet); // 释放数据包
if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录像10秒后停止
break;
}
output.close(); // 关闭输出文件
avformat_close_input(&fmt_ctx); // 关闭输入设备
avformat_free_context(fmt_ctx); // 释放格式上下文
qDebug() << "录像结束";
}