FFmpeg开发笔记(十九)FFmpeg开启两个线程分别解码音视频

同步播放音视频的时候,《FFmpeg开发实战:从零基础到短视频上线》一书第10章的示例程序playsync.c采取一边遍历一边播放的方式,在源文件的音频流和视频流交错读取的情况下,该方式可以很好地实现同步播放功能。

但个别格式的音频流和视频流是分开存储的,前面一大段放了所有的音频帧,后面一大段放了所有的视频帧,并非音频帧与视频帧交错存储的模式。对于这种格式,playsync.c播放时先放完所有的声音,这期间画面是空白的;再快速放完所有的视频画面,这期间没有声音,显然播放过程是有问题的。

若想纠正playsync.c的播放问题,就得重新设计音视频的同步播放机制,不能采取一边遍历一边播放的方式,而要先把音频帧和视频帧都读到缓存队列中,再依次检查音频与视频的时间戳,从而决定在哪个时刻才播放对应时间戳的音视频。具体到代码实现上,需要补充下列几点改造。

1、除了已有的视频处理线程和视频包队列之外,还要增加声明音频处理线程和音频包队列,当然音频包队列配套的队列锁也要补充声明。增补后的声明代码如下所示:

复制代码
SDL_mutex *audio_list_lock = NULL; // 声明一个音频包队列锁,防止线程间同时操作包队列
SDL_Thread *audio_thread = NULL; // 声明一个音频处理线程
PacketQueue packet_audio_list; // 存放音频包的队列
SDL_mutex *video_list_lock = NULL; // 声明一个视频包的队列锁,防止线程间同时操作包队列
SDL_Thread *video_thread = NULL; // 声明一个视频处理线程
PacketQueue packet_video_list; // 存放视频包的队列

2、在程序初始化的时候,不但要创建视频处理线程和视频队列的互斥锁,还要创建音频处理线程和音频队列的互斥锁。修改后的初始化代码如下所示:

复制代码
audio_list_lock = SDL_CreateMutex(); // 创建互斥锁,用于调度队列
// 创建SDL线程,指定任务处理函数,并返回线程编号
audio_thread = SDL_CreateThread(thread_work_audio, "thread_work_audio", NULL);
if (!audio_thread) {
    av_log(NULL, AV_LOG_ERROR, "sdl create audio thread occur error\n");
    return -1;
}
video_list_lock = SDL_CreateMutex(); // 创建互斥锁,用于调度队列
// 创建SDL线程,指定任务处理函数,并返回线程编号
video_thread = SDL_CreateThread(thread_work_video, "thread_work_video", NULL);
if (!video_thread) {
    av_log(NULL, AV_LOG_ERROR, "sdl create video thread occur error\n");
    return -1;
}

3、对音视频文件遍历数据包时,不能立即渲染音频,而要把音频包加入音频队列,把视频包加入视频队列,由两个处理线程根据时间戳来调度具体的播放进度。另外,在所有数据包都遍历完之后,视频包队列可能还有剩余的数据,所以程序末尾得轮询视频包队列,直至所有视频帧都渲染结束才算完成播放。据此修改音视频文件的遍历与轮询代码如下所示:

复制代码
while (av_read_frame(in_fmt_ctx, packet) >= 0) { // 轮询数据包
    if (packet->stream_index == audio_index) { // 音频包需要解码
        SDL_LockMutex(audio_list_lock); // 对音频队列锁加锁
        push_packet(&packet_audio_list, *packet); // 把音频包加入队列
        SDL_UnlockMutex(audio_list_lock); // 对音频队列锁解锁
    } else if (packet->stream_index == video_index) { // 视频包需要解码
        SDL_LockMutex(video_list_lock); // 对视频队列锁加锁
        push_packet(&packet_video_list, *packet); // 把视频包加入队列
        SDL_UnlockMutex(video_list_lock); // 对视频队列锁解锁
        if (!has_audio) { // 不存在音频流
            SDL_Delay(interval); // 延迟若干时间,单位毫秒
        }
    }
    if (play_video_frame() == -1) { // 播放视频画面
        goto __QUIT;
    }
}
while (!is_empty(packet_video_list)) { // 播放剩余的视频画面
    if (play_video_frame() == -1) {
        goto __QUIT;
    }
    SDL_Delay(5); // 延迟若干时间,单位毫秒
}

除了上述的三大块改造,尚有下面四个函数要补充修改:

thread_work_audio函数:这是音频处理线程新增的工作函数,主要从音频包队列取数据,然后解码为音频帧再重采样,并将重采样的结果数据送给扬声器。

thread_work_video函数:这是视频处理线程原有的工作函数,除了给视频包队列及其对应的互斥锁改名之外,其他代码照搬即可。

play_video_frame函数:这是播放视频画面的新增函数,就是把原来SDL渲染画面的代码块重新包装成独立的函数,方便多次调用罢了。

release函数:这是释放音视频资源的函数,与之前的释放代码相比,主要增加了音频处理线程的等待操作,以及音频队列锁的销毁操作。

上述修改后的代码已经附在了《FFmpeg开发实战:从零基础到短视频上线》一书第10章的源码chapter10/playsync2.c,这个c代码是playsync.c的改进版,能够正常播放音频流和视频流分开存储的视频文件。

接着执行下面的编译命令。

复制代码
gcc playsync2.c -o playsync2 -I/usr/local/ffmpeg/include -L/usr/local/ffmpeg/lib -I/usr/local/sdl2/include -L/usr/local/sdl2/lib -lsdl2 -lavformat -lavdevice -lavfilter -lavcodec -lavutil -lswscale -lswresample -lpostproc -lm

编译完成后执行以下命令启动测试程序,期望播放视频文件fuzhou.mp4。

复制代码
./playsync2 ../fuzhou.mp4

程序运行完毕,发现控制台输出以下的日志信息。

复制代码
Success open input_file ../fuzhou.mp4.
out_sample_rate=44100, out_nb_samples=1024
thread_work_video
video_index 0
thread_work_audio
audio_index 0
......
9216 10240 11264 12288 13312 14336 15360 16384 17408 18432 19456 20480 21504 22528 23552 24576 25600 26624 27648 28672 29696 30720 31744 32768 33792 34816 35840 36864 37888 38912 39936 ......
Close window.
begin release audio resource
audio_thread audio_status=0
end release audio resource
begin release video resource
video_thread video_status=0
end release video resource
Quit SDL.

同时弹出SDL窗口播放视频画面,并且扬声器传来了阵阵歌声,表示上述代码正确实现了同步播放音视频的功能。

相关推荐
xiaopengbc7 分钟前
免费的视频音频文档文件选装百种格式转换软件(附下载)
音视频
Shang180989357269 分钟前
MS2107高性能USB 2.0视频信号和音频采集,支持NTSC/PAL制式,适用于低成本视频采集设备
嵌入式硬件·fpga开发·音视频·硬件工程·信息与通信·dsp开发
老贾专利烩33 分钟前
音频共享耳机专利拆解:碰击惯性数据监测与阈值减速识别机制研究
音视频·信息与通信·科技前沿·创新专利
web前端进阶者1 小时前
音视频开发远端未发布视频占位图
音视频·webrtc
syso_稻草人2 小时前
基于 ComfyUI + Wan2.2 animate实现 AI 视频人物换衣:完整工作流解析与资源整合(附一键包)
人工智能·音视频
八月的雨季 最後的冰吻4 小时前
FFmpeg--FlvPaser源码解析
ffmpeg
追风20194 小时前
OSS存储的视频,安卓和PC端浏览器打开正常,苹果端打开不播放,什么原因?
音视频
救救孩子把5 小时前
从 Sora 到 Sora 2:文本生成视频进入下一个阶段(附sora教程)
音视频·sora
feiyangqingyun7 小时前
Qt和ffmpeg结合打造gb28181推流/支持udp和tcp被动以及tcp主动三种方式
qt·udp·ffmpeg
-KamMinG7 小时前
云上极速转码:阿里云ECS+T4 GPU打造高性能FFmpeg视频处理引擎(部署指南)
阿里云·ffmpeg·音视频