视频基础知识(一)

1. 码率

视频码率就是数据传输时单位时间传送的数据位数,一般用的单位是kbps即千位每秒。 通俗一点的理解就是取样率,单位时间内取样率越大,精度就越高,处理出来的文件就越接近原始文件。

较低的码率会导致视频的数据量减少,从而降低视频的质量。视频会出现压缩失真、模糊、锯齿状边缘和细节模糊等问题。低码率的视频在高动态场景下可能会出现模糊、抖动或者帧丢失的情况,导致视频不流畅。

较高的码率会提供更多的视频数据,从而提高视频的质量。视频的细节、清晰度和颜色渲染等方面会得到改善。高码率的视频能够更准确地还原原始画面,细节更加清晰,但同时也需要更大的带宽支持,传输速度较慢。

2. 分辨率

视频分辨率是指视频画面的像素数量,它决定了视频的清晰度和细节水平。分辨率通常由宽度和高度两个数字表示,例如,720p(1280x720像素),1080p(1920x1080像素)。

较高的分辨率意味着视频有更多的像素,因此能够呈现更多的细节和更清晰的图像。相比之下,较低的分辨率会有较少的像素,图像可能会显得模糊或者失去一些细节。

需要注意的是,视频分辨率不仅仅与画面的清晰度有关,还会影响视频文件的大小和传输带宽需求。较高的分辨率会产生更多的像素数据,因此需要更大的存储空间和更高的带宽来传输。

3. 帧率

帧率(Frame Rate)指的是视频中每秒显示的图像帧数。它表示视频播放速度的快慢,以"帧/秒"(fps)为单位进行计量。

视频是由一系列静止的图像帧组成的,每一帧都是视频中的一个静止画面。帧率决定了这些静止画面以多快的速度连续播放,从而形成流畅的动画效果。

较高的帧率意味着每秒显示更多的图像帧,视频播放会更加流畅和细腻。人眼会感知到更多的动态变化,特别是在快速移动的场景中。常见的视频帧率有24fps、30fps、60fps等。

4. 帧的类型

(1)I帧:帧内编码帧,是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码,可以简单理解为一张静态画面。视频序列中的第一个帧始终都是I帧,因为它是关键帧。

(2)P帧:帧间预测编码帧,需要参考前面的I帧才能进行编码。表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。与I帧相比,P帧通常占用更少的数据位,但不足是,由于P帧对前面的P和I参考帧有着复杂的依耐性,因此对传输错误非常敏感。

(3)B帧:B帧又称双向预测编码帧,也就是B帧记录的是本帧与前后帧的差别。也就是说要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高,但是对解码性能要求较高。

(4)IDR帧:理想情况下,一个视频流,从一个I帧开始后面轻微运动都是 P/B,直到遇到场景切换就再插一个I,如此往复。一般来说,P/B 参考范围不会越过I帧。但也有特例,我们可以强行指定 P/B 参考不允许越过 I 帧,这样的I帧我们叫它 IDR 帧,每个 IDR 帧(Instantaneous Decoding Refresh)的间隔我们称作一个 GOP(Group of Pictures)

IDR帧与 I帧的理解

在 H264 的概念中有一个帧称为 IDR 帧,那么 IDR 帧与 I 帧的区别是什么呢?首 先来看一下 IDR 的英文全称 instantaneous decoding refresh picture,因为 H264 采用了 多帧预测,所以 I 锁之后的 P 帧有可能会参考 I 帧之前的锁,这就使得在随机访问的 时候不能以找到 I 帧作为参考条件,因为即使找到 I 帧, I 帧之后的帧还是有可能解析 不出来,而 IDR 帧就是一种特殊的 I 帧,即这一帧之后的所有参考帧只会参考到这个 IDR 帧,而不会再参考前面的帧 。 在解码器中,一旦收到一个 IDR 帧,就会立即清理 参考帧缓冲区,并将 IDR 帧作为被参考的帧 。

5. PTS和DTS

在视频编码和解码中,PTS(Presentation Time Stamp)和DTS(Decoding Time Stamp)是用于控制和同步视频帧显示的时间戳。

  1. PTS(Presentation Time Stamp):PTS表示视频帧应该在播放器中显示的时间。它指示了帧的展示时间点,播放器根据PTS来确定何时显示帧。PTS是相对于视频流开始的时间进行计算的。

  2. DTS(Decoding Time Stamp):DTS表示解码器接收和解码视频帧的时间。它指示了帧的解码时间点,解码器根据DTS来确定帧的解码顺序。DTS也是相对于视频流开始的时间进行计算的。

通常情况下,PTS和DTS是相同的,视频帧按照接收的顺序进行解码和显示。但在一些特殊情况下,可能会存在帧的解码顺序与显示顺序不同的情况,这时就需要使用PTS和DTS来进行控制和同步。

例如,当视频流中存在B帧(Bidirectional Frame)时,B帧依赖于前后的参考帧进行解码。在这种情况下,解码器可能会先解码一个B帧需要的参考帧,然后再解码该B帧。所以,B帧的DTS会比PTS要早,以确保在播放时能正确地使用参考帧。

播放器根据PTS来确定何时显示帧,以确保视频的连续播放和同步。通过使用PTS和DTS,可以控制和处理视频编码和解码过程中的时间顺序和同步问题,保证视频帧在播放器中正确地显示出来。

6. 视频的编码格式

(1)VP8:视频压缩解决方案厂商On2 Technologies公司现已推出最新的视频压缩格式On2 VP8。On2 VP8是第八代的On2视频,能以更少的数据提供更高质量的视频,而且只需较小的处理能力即可播放视频,为致力于实现产品及服务差异化的网络电视、IPTV和视频会议公司提供理想的解决方案。

(2)H.264(流媒体音视频格式):H.264是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式H.264最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下,H.264的数据压缩比能比当前DVD系统中使用的 MPEG-2高2-3倍,比MPEG-4高1.5-2倍。正因为如此,经过H.264压缩的视频数据,在网络传输过程中所需要的带宽更少,也更加经济。在 MPEG-2需要6Mbps的传输速率匹配时,H.264只需要1Mbps-2Mbps的传输速率。

(3)VP9:VP9 是由 Google 开发的开放式、无版权费的视频编码标准,在开发初期曾经被命名为 Next Gen Open Video,VP9 也被视为是 VP8 的下一代视频编码标准。

(4)H.265:H.265 在 H.264 的基础上保留其中的部分技术,并对相关技术加以改进研发而成。新技术主要通过提升压缩效率、鲁棒性,提高错误恢复能力,减少实时时延、减少信道获取时间等方面,让视频编码达到效率更高。同时 H.265 可以实现利用 1~2Mbps 传输速度传送 720P 普通高清音视频。