ffmpeg重点之时间戳,PTS、DTS、time_base

PTS和DTS和时间基time_base

首先我们知道PTS是一帧音频或视频显示的时间,DTS是解码时间戳

既然是时间,PST和DTS的单位是什么呢?秒还是毫秒,抑或是纳秒?

先说结论---都不是
先引入FFmpeg中时间基的概念,也就是time_base,它也是用来度量时间的。 如果把1秒分为25等份,你可以理解就是一把尺,那么每一格表示的就是1/25秒。此时的time_base={1,25} 。如果你是把1秒分成90000份,每一个刻度就是1/90000秒,此时的time_base={1,90000},也就是1/90000秒
所谓时间基表示的就是每个刻度是多少秒,pts的值就是占多少个时间刻度(占多少个格子)。它的单位不是秒,而是时间刻度。只有pts加上time_base两者同时在一起,才能表达出时间是多少。
好比我只告诉你,某物体的长度占某一把尺上的20个刻度。但是我不告诉你,这把尺总共是多少厘米的,你就没办法计算每个刻度是多少厘米,你也就无法知道物体的长度,如果知道了每个刻度占多少厘米,就可以通过20刻度值获取到物体的长度,pts=20个刻度,time_base={1,10} 每一个刻度是1/10厘米,所以物体的长度=ptstime_base=20*1/10 厘米 = 2厘米

所以PTS和DTS的值只是占用了多少个时间刻度,真实的显示时间和解码时间需要经过计算:pts * (AVRational){1,time_base}
在ffmpeg中,(AVRational){1,time_base}可以使用av_q2d(time_base)代替,av_q2d(time_base)就代表了每个刻度是多少秒 此时你应该不难理解pts*av_q2d(time_base)才是帧的显示时间戳,此时才能知道是这一帧在时间轴的第多少秒时显示。

时间基的转换

比如视频帧率为25,也就是一秒钟25帧,在ffmpeg中的时间基是90000,所以在ffmpeg中的时间记得转换转化

AVRational src_time_base = (AVRational){1, 25};

AVRational dst_time_base = (AVRational){1, 90000};

int64_t pts = 2;

int64_t new_pts = av_rescale_q(pts, src_time_base , dst_time_base);

下面理解时间基的转换,为什么要有时间基转换。 首先,不同的封装格式,timebase是不一样的。另外,整个转码过程,不同的数据状态对应的时间基也不一致。拿mpegts封装格式25fps来说(只说视频,音频大致一样,但也略有不同)。非压缩时候的数据(即YUV或者其它),在ffmpeg中对应的结构体为AVFrame,它的时间基为AVCodecContext 的time_base ,AVRational{1,25}。 压缩后的数据(对应的结构体为AVPacket)对应的时间基为AVStream的time_base,AVRational{1,90000}。 因为数据状态不同,时间基不一样,所以我们必须转换,在1/25时间刻度下占10格,在1/90000下是占多少格。这就是pts的转换。

根据pts来计算一桢在整个视频中的时间位置: timestamp(秒) = pts * av_q2d(st->time_base) ,duration和pts单位一样,duration表示当前帧的持续时间占多少格。或者理解是两帧的间隔时间是占多少格。一定要理解单位。

pts:格子数

av_q2d(st->time_base): 秒/格

计算一帧在什么位置,也就是第多少秒显示:ptsav_q2d(st->time_base),这一帧显示的时长:duration,这里的duration指的是packet->duration
计算视频长度: time(秒) = st->duration * av_q2d(st->time_base)
ffmpeg内部的时间与标准的时间转换方法: ffmpeg内部的时间戳 = AV_TIME_BASE * time(秒) AV_TIME_BASE_Q=1/AV_TIME_BASE
av_rescale_q(int64_t a, AVRational bq, AVRational cq)函数,这个函数的作用是计算a
bq / cq来把时间戳从一个时间基调整到另外一个时间基。在进行时间基转换的时候,应该首先这个函数,因为它可以避免溢出的情况发生。

函数表示在bq下的占a个格子,在cq下是多少。 关于音频pts的计算: 音频sample_rate:samples per second,即采样率,表示每秒采集多少采样点。 比如44100HZ,就是一秒采集44100个sample. 即每个sample的时间是1/44100秒

一个音频帧的AVFrame有nb_samples个sample,所以一个AVFrame耗时是nb_samples(1/44100)秒 即标准时间下duration_s=nb_samples(1/44100)秒, 转换成AVStream时间基下 duration=duration_s / av_q2d(st->time_base) 基于st->time_base的num值一般等于采样率,所以duration=nb_samples. pts=nduration=nnb_samples

例:

在拉网络流并将音视频帧进行封装保存时,就要进行时间基的转换,将输入流的pts,dts,duration转化为输出流的时间基

//转换 PTS/DTS 时序

c 复制代码
avPacket.pts = av_rescale_q_rnd(avPacket.pts,in_stream->time_base,out_stream->time_base,(enum AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
avPacket.dts = av_rescale_q_rnd(avPacket.dts, in_stream->time_base, out_stream->time_base, (enum AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
avPacket.duration = av_rescale_q(avPacket.duration, in_stream->time_base, out_stream->time_base);
avPacket.pos = -1;

这里用了av_rescale_q_rnd这个函数来将时间基进行转化

c 复制代码
int64_t av_rescale_q_rnd(int64_t a, int64_t b, int64_t c, enum AVRounding rnd); 

它的作用是计算 "a * b / c" 的值并分五种方式来取整.

在FFmpeg中,则是将以 "时钟基c" 表示的 数值a 转换成以 "时钟基b" 来表示。

最终的情况就是将原来在in_stream->time_base时间基下的pts转为在out_stream->time_base时间基下的pts

相关推荐
彷徨而立6 小时前
【FFmpeg】销毁解码器时,必须清理剩余帧吗?
ffmpeg
骄傲的心别枯萎6 小时前
项目1:FFMPEG推流器讲解(五):FFMPEG时间戳、时间基、时间转换的讲解
ffmpeg·音视频·视频编解码·时间戳·rv1126
彷徨而立8 小时前
【FFmpeg】HW 解码器销毁时,资源回收顺序
ffmpeg
彷徨而立15 小时前
【FFmpeg】如何判断 HW解码器输出的是 硬件帧?
ffmpeg
派阿喵搞电子16 小时前
基于ffmpeg库,在AGX上编译jetsonFFmpeg库带有硬件加速的h264_nvmpi视频编解码器
ffmpeg·视频编解码
彷徨而立16 小时前
【FFmpeg】HW解码器输出 硬件帧 or 软件帧
ffmpeg
长沙红胖子Qt17 小时前
FFmpeg开发笔记(十三):ffmpeg采集麦克风音频pcm重采样为aac录音为AAC文件
笔记·ffmpeg·音视频
feiyangqingyun18 小时前
全网首发/Qt结合ffmpeg实现rist推拉流/可信赖的互联网流媒体协议/跨平台支持各个系统
qt·ffmpeg·rist推拉流
shenhuxi_yu2 天前
ffmpeg avio使用示例
ffmpeg
aqi003 天前
FFmpeg开发笔记(八十二)使用国产直播服务器smart_rtmpd执行推流操作
ffmpeg·音视频·直播·流媒体