系列文章目录
- 基于 FFmpeg 的跨平台视频播放器简明教程(一):FFMPEG + Conan 环境集成
- 基于 FFmpeg 的跨平台视频播放器简明教程(二):基础知识和解封装(demux)
- 基于 FFmpeg 的跨平台视频播放器简明教程(三):视频解码
- 基于 FFmpeg 的跨平台视频播放器简明教程(四):像素格式与格式转换
- 基于 FFmpeg 的跨平台视频播放器简明教程(五):使用 SDL 播放视频
- 基于 FFmpeg 的跨平台视频播放器简明教程(六):使用 SDL 播放音频和视频
- 基于 FFmpeg 的跨平台视频播放器简明教程(七):使用多线程解码视频和音频
- 基于 FFmpeg 的跨平台视频播放器简明教程(八):音画同步
@TOC
前言
经过前面八章的学习与代码实现,我们的播放器已经能够正常播放视频了,接下来我们将加入最常用的 seek 能力,让你能够快进/快退。
本文参考文章来自 An ffmpeg and SDL Tutorial -Tutorial 07: Seeking。这个系列对新手较为友好,但 2015 后就不再更新了,以至于文章中的 ffmpeg api 已经被弃用了。幸运的是,有人对该教程的代码进行重写,使用了较新的 api,你可以在 rambodrahmani/ffmpeg-video-player 找到这些代码。
本文的代码在 ffmpeg_video_player_tutorial-my_tutorial07.cpp 和 ffmpeg_video_player_tutorial-my_tutorial07_01_accurate_seek.cpp。
FFmpeg API 中的 Seek 方法
我们想做的事情很简单:当用户按下左右键时,播放进度快进 5s 或者回退 5s。例如当前播放进度为 1s,当按下右键时,期望播放进度能够跳跃到 6s。
FFmpeg 提供了 seek 的接口,但它没法精确的跳跃到我们期望的位置,它有一些限制。关于精准 seek 我们稍后会进行讨论,目前让我们将目光关注到 FFmpeg 提供的 seek api 上。
avformat_seek_file
FFmpeg 提供了 avformat_seek_file
进行 seek,函数原型:
c
int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags);
函数的参数和返回值说明如下:
- AVFormatContext *s: 媒体文件句柄。它是函数的主要输入,指向处理的媒体文件的上下文。
- int stream_index: 用作时间基准参考的流的索引。如果流索引为-1,则所有的时间戳都以AV_TIME_BASE单位处理。如果此标志包含AVSEEK_FLAG_FRAME,则流索引中的所有时间戳都以帧为单位。
- int64_t min_ts: 可接受的最小时间戳。此时间戳定义了ts可能到达的范围下限。
- int64_t ts: 目标时间戳。这是函数尝试寻找并尽可能接近的时间戳。
- int64_t max_ts: 可接受的最大时间戳。这个时间戳定义了ts可能到达的范围上限。
- int flags: 表示寻址标志,包含 AVSEEK_FLAG_BYTE、AVSEEK_FLAG_FRAME、AVSEEK_FLAG_ANY、AVSEEK_FLAG_BACKWARD 四个选项,用于指定时间戳的单位、是否将非关键帧视为关键帧,等等。
首先明确一点,seek 到目标时间 ts 上,这个 ts 的时间单位是什么?在 avformat_seek_file
注释中对 ts 的时间单位做了说明,总结下来:
- 如果"flags"包含 AVSEEK_FLAG_BYTE,那么所有时间戳都是以字节为单位的,它们代表的是文件位置(不过这种方式可能不会被所有的demuxers所支持)
- 如果"flags"包含 AVSEEK_FLAG_FRAME,那么所有的时间戳都是以帧为单位的,这些帧在由stream_index 参数指定的那个流中(这种方式同样可能不会被所有的demuxers所支持)
- 如果 stream_index 为 -1,则以 AV_TIME_BASE 为单位
- 否则,所有时间戳都以选定的流单元中的时间基为单位表示
在我们的代码实现中并不会使用到 AVSEEK_FLAG_BYTE 或者 AVSEEK_FLAG_FRAME,因此忽略上面的 1、2 点。将 stream_index
设置为 -1 是一种常见的选择,使得 ts 时间单位为 AV_TIME_BASE(也就是 1us)。
注意到 avformat_seek_file
作用的对象是 AVFormatContext
,这也就说它影响的是解封装的结果:经过 seek 之后,av_read_frame
将读取到新位置的 AVPacket。
Seek 到关键帧
虽然在 "flags" 中包含 AVSEEK_FLAG_BYTE 或者 AVSEEK_FLAG_FRAME 使得可以 seek 到任意位置(帧)上,但在实际使用上这两个 flag 很少被使用。我们最常用的还是 flags = 0 或者 flags = AVSEEK_FLAG_BACKWARD,这种情况下 avformat_seek_file 将会跳转至符合要求的关键帧(I帧)位置上。
在跳转时,如果指定了 AVSEEK_FLAG_BACKWARD 标志,则会优先跳转到前一个关键帧,否则会优先跳转到后一个关键帧。如果没有关键帧,则会跳转到最接近的非关键帧。但是,跳转到非关键帧可能会导致解码器出现错误或画面不完整的情况,因此在实际应用中,一般会尽量跳转到关键帧。
由于avformat_seek_file的特性,它会跳转到最接近指定时间戳的关键帧,因此在实际应用中,你可能会发现跳转的位置并不完全符合预期。例如,如果当前播放位置在1秒,你希望快进到6秒,但是在执行avformat_seek_file后,播放位置可能会跳转到8秒。这是因为在8秒处有一个关键帧,而在预期的6秒处没有关键帧。所以,avformat_seek_file会选择最近的关键帧进行跳转。「精准 seek」中将说明如何处理这种情况,此处不表。
GOP
两个关键帧的距离,有一个专业的名词来描述,即 GOP。GOP,全称为Group of Pictures,中文译为"图像组",是视频编码中的一个重要概念。
在视频编码中,为了提高压缩效率,通常会采用帧间预测的方式,即利用前后帧之间的相关性,只编码和前后帧的差异部分。这样可以大大减少需要编码的数据量,从而提高压缩效率。而GOP就是帧间预测的基本单位。
一个GOP由一个I帧开始,后面跟随若干个P帧和B帧。I帧是关键帧,可以独立解码,而P帧和B帧则需要依赖其他帧进行解码。GOP的长度,即一个GOP中包含的帧数,是可以调整的,它直接影响到视频的压缩效率和错误恢复能力。GOP长度越短,错误恢复能力越强,但压缩效率较低;反之,GOP长度越长,压缩效率越高,但错误恢复能力较弱。
此外 GOP 还与视频画面质量有关,详细说明请参考:
Show me the Code
讲解往 ffmpeg 中关于 seek 的 api 后,现在来说明如何在代码中实现 seek 的逻辑。大体步骤为:
- 通过键盘发出 seek 命令,例如按下左右键等
- Demux 线程收到 seek 的请求后,调用
avformat_seek_file
进行 seek 操作;Demux 完成 seek 后,还需要通知视频/音频解码线程发生了 seek 操作 - 解码线程收到 seek 通知后,清理解码器上下文中的缓存信息
接下来对上述步骤做详细的说明
发出 seek 命令
cpp
void onEvent(const SDL_Event &event) {
switch (event.type) {
case SDL_KEYDOWN: {
switch (event.key.keysym.sym) {
case SDLK_LEFT: {
play_ctx->doSeekRelative(-5.0);break;
}
case SDLK_RIGHT: {
play_ctx->doSeekRelative(5.0);break;
}
case SDLK_DOWN: {
play_ctx->doSeekRelative(-60.0);break;
}
case SDLK_UP: {
play_ctx->doSeekRelative(60.0);break;
}
}
break;
}
// ....
SDL 支持键盘事件,当我们按了某些按键时,通过 SDL_Event
中的信息来判断所按的键是哪个。在上述代码中,支持左右上下键来快进和快退。
cpp
void doSeekRelative(double incr) {
if (!seek_req) {
std::lock_guard lg(seek_mut);
auto pos = getAudioClock();
pos += incr;
if (pos < 0) {
pos = 0;
}
seek_rel = (int64_t)(incr * AV_TIME_BASE);
seek_pos = (int64_t)(pos * AV_TIME_BASE);
seek_flags = (incr < 0) ? AVSEEK_FLAG_BACKWARD : 0;
seek_req = true;
}
}
doSeekRelative
函数中:
getAudioClock
获取当前的音频时钟,即播放到第几秒了。pos += incr;
计算快进快退的目标位置- 接着计算
seek_rel
和seek_pos
,这里将时间单位转换到 AV_TIME_BASE 是为了后面处理更方面;seek_flags
如果是快退的话设置为AVSEEK_FLAG_BACKWARD
- 最后设置
seek_req = true
等待 demux 线程消费
Demux 线程进行 seek 操作
cpp
if (ctx.seek_req) {
// seek stuff goes here
int64_t seek_pos = 0;
int64_t seek_rel = 0;
int seek_flags = 0;
{
std::lock_guard lg(ctx.seek_mut);
seek_pos = ctx.seek_pos;
seek_rel = ctx.seek_rel;
seek_flags = ctx.seek_flags;
}
auto min_ts = (seek_rel > 0) ? (seek_pos - seek_rel + 2) : (INT64_MIN);
auto max_ts = (seek_rel < 0) ? (seek_pos - seek_rel - 2) : (INT64_MAX);
ret = avformat_seek_file(ctx.decode_ctx->demuxer.getFormatContext(), -1,
min_ts, seek_pos, max_ts, seek_flags);
if (ret < 0) {
fprintf(stderr, "%s: error while seeking %s\n",
decode_ctx.demuxer.getFormatContext()->url, av_err2str(ret));
} else {
if (ctx.decode_ctx->video_stream_index >= 0) {
decode_ctx.video_packet_sync_que.clear();
decode_ctx.video_packet_sync_que.tryPush(&flush_packet);
}
if (ctx.decode_ctx->audio_stream_index >= 0) {
decode_ctx.audio_packet_sync_que.clear();
decode_ctx.audio_packet_sync_que.tryPush(&flush_packet);
}
}
ctx.setClock(ctx.audio_clock_t, seek_pos / (double)AV_TIME_BASE);
ctx.seek_req = false;
}
上述代码在 demux 线程中,它展示了处理 seek 命令的逻辑操作。
- 在收到 seek 请求后,将
seek_pos
、seek_rel
和seek_flags
保存起来(为了线程安全) - 接着调用
avformat_seek_file
接口,至于min_ts
和max_ts
为啥这样算?是直接抄的 ffplay 中代码(哈哈哈哈)。注意avformat_seek_file
第二个参数是 -1,这也意味着所有输入的时间戳单位是 AV_TIME_BASE 为单位的。 - 接着,清空视频和音频的 packet queue,并向它们都发送了一个 flush packet,通过这个 flush packet 去通知解码线程发生了 seek 操作。
解码线程进行 seek 操作
cpp
// seek stuff here
if (std::strcmp((char *)pkt->data, FLUSH_DATA) == 0) {
avcodec_flush_buffers(codec.getCodecContext());
out_frame_queue.clear();
return 0;
}
在解码线程中,要做的事情非常简单:
- 判断当前 packet 是否是 flush packet
- 如果是,那么调用
avcodec_flush_buffers
清理解码器上下文缓存,且清空 out_frame_queue 里的数据
精准 Seek
回到之前的那个问题:avformat_seek_file
只能跳转到关键帧,在实际应用中,你可能会发现跳转的位置并不完全符合预期。例如,如果当前播放位置在1秒,你希望快进到6秒,但是在执行avformat_seek_file后,播放位置可能会跳转到8秒。这是因为在8秒处有一个关键帧,而在预期的6秒处没有关键帧。
如何解决这个问题?要做两件事情:
- 调用
avformat_seek_file
时,确保跳转到目标位置(target position)的前面的关键帧。例如target_pos = 2s
时,跳转到关键帧应该满足pos <= 2s
。调用avformat_seek_file
时,将 flag 设置为 AVSEEK_FLAG_BACKWARD 即可,如果没有设置这个标志,那么找到的关键帧可能会超过目标时间戳。 - 从关键帧开始解码,直到当前位置(current position)大于目标位置。满足该条件后,意味着我们 seek 到了目标位置,可以进行该视频帧的播放。
接下来让我们看具体实现的代码 ffmpeg_video_player_tutorial-my_tutorial07_01_accurate_seek.cpp
Show Me The Code
使用 SDL 处理键盘事件的代码与之前是一样的,此处不再赘述。直接看 demux 线程与解码线程的修改。
Demux Thread:
cpp
if (ctx.seek_req) {
// seek stuff goes here
int64_t seek_pos = 0;
int64_t seek_rel = 0;
int seek_flags = 0;
{
std::lock_guard lg(ctx.seek_mut);
seek_pos = ctx.seek_pos;
seek_rel = ctx.seek_rel;
seek_flags = ctx.seek_flags;
seek_flags = AVSEEK_FLAG_BACKWARD;
}
auto min_ts = (seek_rel > 0) ? (seek_pos - seek_rel + 2) : (INT64_MIN);
auto max_ts = (seek_rel < 0) ? (seek_pos - seek_rel - 2) : (seek_pos);
ret = avformat_seek_file(ctx.decode_ctx->demuxer.getFormatContext(), -1,
min_ts, seek_pos, max_ts, seek_flags);
if (ret < 0) {
fprintf(stderr, "%s: error while seeking %s\n",
decode_ctx.demuxer.getFormatContext()->url, av_err2str(ret));
} else {
seek_packet.pos = seek_pos;
// ...
}
Demux 线程代码与之前有两个差异点:
seek_flags
被设置为AVSEEK_FLAG_BACKWARD
- 设置 seek_packet 的 pos 为目标位置,告诉解码线程目标位置的值
Decode Thread:
cpp
// seek stuff here
if (pkt->stream_index == FF_SEEK_PACKET_INDEX) {
avcodec_flush_buffers(codec.getCodecContext());
out_frame_queue.clear();
seeking_flag = true;
target_seek_pos_avtimebase = pkt->pos;
return 0;
}
解码线程收到 seek packet 后,首先做了两件事情:
- 清理缓存。调用
avcodec_flush_buffers
清理解码器上下文缓存;清理 out_frame_queue 中的缓存帧 - 保存 seek 信息,以便后续的循环解码
cpp
while (ret >= 0) {
ret = codec.receiveFrame(out_frame);
ON_SCOPE_EXIT([&out_frame] { av_frame_unref(out_frame); });
// need more packet
if (ret == AVERROR(EAGAIN)) {
break;
} else if (ret == AVERROR_EOF || ret == AVERROR(EINVAL)) {
// EOF exit loop
break;
} else if (ret < 0) {
printf("Error while decoding.\n");
return -1;
}
if (seeking_flag) {
auto cur_frame_pts_avtimebase =
av_rescale_q(out_frame->pts, stream_time_base, AV_TIME_BASE_Q);
if (cur_frame_pts_avtimebase < target_seek_pos_avtimebase) {
break;
} else {
seeking_flag = false;
}
}
out_frame_queue.waitAndPush(out_frame);
}
在原有的解码逻辑中,我们加入了对 seek 的判断:
- 如果命中
seeking_flag
,判断当前解码帧的 pts 是否小于目标位置。如果是,以为还没有解码到目标帧,继续解码;如果否,那么当前帧已经满足目标位置。 - 满足条件后,将
seeking_flag
设置为false
,将解码的视频帧放入 queue 中,让 sdl 去播放。
Seek 性能优化
实现精准 seek 后,可以发现在某些情况下需要解码很多很多帧,才能到达 seek 的目标位置。举个例子,假设 GOP=100,目标位置在 GOP 的最后一帧,调用 avformat_seek_file
后,seek 到了当前 GOP 的第一帧,于是需要解码 100 帧。有啥优化的办法吗?这里大致描述下,具体代码留给各位自行实现了。
解码前丢弃非参考帧。
AVPacket 的 flags 标志位中可以知道当前的 packet 是否可以被解码器丢弃。以下是对上述标志位的解释:
- AV_PKT_FLAG_KEY:这个标志表示该数据包包含一个关键帧。在视频编码中,关键帧是完整的帧,可以独立于其他帧进行解码。
- AV_PKT_FLAG_CORRUPT:这个标志表示该数据包的内容已经损坏。这可能是由于数据传输错误或者编码错误导致的。
- AV_PKT_FLAG_DISCARD:这个标志表示这个数据包在解码后可以被丢弃。这些数据包对于维持解码器的状态是必要的,但是对于输出来说并不需要。
- AV_PKT_FLAG_TRUSTED:这个标志表示这个数据包来自一个可信的源。这意味着即使数据包中包含一些不安全的结构,如指向数据包外部数据的任意指针,也可以被接受。
- AV_PKT_FLAG_DISPOSABLE:这个标志表示这个数据包包含的帧可以被解码器丢弃,也就是说这些帧不是参考帧。在视频编码中,参考帧是其他帧在预测编码时需要参考的帧,而非参考帧则不需要被其他帧参考。
或者使用 AVDiscard 来丢弃某些帧,具体参考 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!!
GOP 内向后 seek 逻辑优化
如果 seek 的目标位置与当前位置属于同一个 GOP,且为向后 seek,那么可以优化现有 seek 逻辑,无需做其他操作只需等待解码器解码到目标位置即可。
总结
本文介绍了播放器中如何实现快进、快退功能,并给出了具体的实现代码,还讨论了如何实现精准 seek 逻辑,并在最后给出了一些优化的思路。本文的代码在 ffmpeg_video_player_tutorial-my_tutorial07.cpp 和 ffmpeg_video_player_tutorial-my_tutorial07_01_accurate_seek.cpp。