音视频学习（二十四）：hls协议

基本原理

HLS协议通过将视频文件切分成多个小的媒体段（通常是10秒左右的.ts文件），并通过HTTP传输给客户端。视频播放过程中，客户端按顺序请求这些小段文件来逐步播放整个视频流。HLS还支持多种码率，以便适应不同网络条件的动态调整（自适应流）。

工作流程

HLS协议的基本工作流程包含以下几个步骤：

视频切片 ：
- 视频源文件通常是一个完整的长视频。
- 视频文件被切割成若干个小的TS文件（MPEG-TS格式，通常每个视频片段持续10秒或更短）。
- 这些切片（.ts文件）被存储在服务器上。
生成M3U8播放列表 ：
- 在切片完成后，生成一个以.m3u8为扩展名的播放列表文件，里面包含了TS片段的URL，客户端通过这个播放列表来加载视频片段。
- .m3u8文件本质上是一个文本文件，列出了所有视频片段（或称"媒体段"）的URL地址，浏览器或播放器根据它来依次请求视频片段。
- 还可以生成多种码率的M3U8文件，每种码率对应不同的网络条件。
客户端请求和播放 ：
- 客户端（如HLS支持的播放器或浏览器）请求.m3u8文件，播放器读取该文件并获取其中包含的视频片段链接。
- 客户端根据当前网络状况，自动选择合适的码率进行播放。如果网络环境发生变化，播放器可以切换不同的码率流。

M3U8播放列表文件

M3U8文件是HLS的核心部分，它是一个UTF-8编码的播放列表，描述了视频段和相关的元数据。主要有两种类型的M3U8文件：

主播放列表（Master Playlist）：列出不同码率、不同分辨率的视频流。
媒体播放列表（Media Playlist）：每个流（一个码率）都有一个对应的媒体播放列表，列出具体的.ts文件。

基本结构

一个标准的 .m3u8 文件包含一系列以 #EXT 开头的扩展标记（例如：#EXT-X-VERSION、#EXT-X-TARGETDURATION 等）和媒体段（视频片段）的 URL 链接。每个 .m3u8 文件包含的信息对播放流程至关重要，通常分为以下几种类型：

播放列表头部（Header）：定义播放器需要遵循的基本规则。
媒体段（Media Segments） ：指向具体的视频片段（.ts 文件）的链接。
播放列表尾部（Footer）：包括结束标记等。

格式解析

头部信息

头部一般包含一些关于播放列表的全局信息，比如版本、最大时长等。

#EXTM3U: 每个 .m3u8 文件必须以这个标签开头，标识这是一个M3U播放列表。
#EXT-X-VERSION:<version>: 表示M3U8文件的版本号。版本号决定了该播放列表支持的特性。例如，#EXT-X-VERSION:3 表示使用 HLS 版本 3。
#EXT-X-TARGETDURATION:<duration>: 定义了每个媒体段的最大持续时间（单位为秒）。客户端用它来确定如何预缓存下一段内容。例如，#EXT-X-TARGETDURATION:10 表示每个段的最大持续时间为 10 秒。
#EXT-X-MEDIA-SEQUENCE:<sequence_number>: 指定媒体片段的起始序列号。每个媒体段的序号是递增的，通常从 0 开始。

媒体片段信息

每个媒体段（视频或音频片段）会在 .m3u8 文件中用 #EXTINF 标签标注，它表示该片段的持续时间（单位为秒）以及片段的文件名或URL。

#EXTINF:<duration>,: 这个标签后跟的是该视频片段的持续时间（以秒为单位）。例如，#EXTINF:10.0, 表示该片段的持续时间为 10 秒。
<media_segment_file>: 这部分指向媒体段文件的位置，通常是 .ts 文件的 URL。例如，segment1.ts 或 https://example.com/segment1.ts。

例如：

m3u8 复制代码

#EXTINF:10.0,
segment1.ts
#EXTINF:10.0,
segment2.ts
#EXTINF:10.0,
segment3.ts

多码率支持（自适应流）

如果是一个支持多码率（或称自适应流）的 .m3u8 文件，则会包含多个播放列表，每个播放列表对应一个不同的码率（或分辨率）的视频流。

#EXT-X-STREAM-INF:: 这是主播放列表中的一行，标识一个子播放列表，并提供了相关的编码信息（如码率、分辨率等）。
BANDWIDTH=<bandwidth>: 指定该流的带宽需求，通常是以比特为单位。例如，BANDWIDTH=800000 表示这个流的带宽是 800 Kbps。
RESOLUTION=<width>x<height>: 指定视频的分辨率，例如 RESOLUTION=1920x1080。

主播放列表文件会列出不同码率、不同分辨率的子播放列表链接。例如：

m3u8 复制代码

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-STREAM-INF:BANDWIDTH=800000,RESOLUTION=640x360
low_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=1400000,RESOLUTION=1280x720
medium_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=2800000,RESOLUTION=1920x1080
high_quality.m3u8

结束标记

#EXT-X-ENDLIST: 这个标记表示播放列表的结束，特别用于点播（VOD）场景，表明媒体播放列表已结束，后续没有更多的媒体段。

加密与内容保护

#EXT-X-KEY: 用于指定加密信息，提供加密内容的密钥信息。例如，HLS支持AES-128加密，文件中的加密信息可以指定密钥的位置等：

示例

m3u8 复制代码

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0

#EXT-X-STREAM-INF:BANDWIDTH=800000,RESOLUTION=640x360
low_quality.m3u8

#EXT-X-STREAM-INF:BANDWIDTH=1400000,RESOLUTION=1280x720
medium_quality.m3u8

#EXT-X-STREAM-INF:BANDWIDTH=2800000,RESOLUTION=1920x1080
high_quality.m3u8

低码率流 (low_quality.m3u8) 示例：

m3u8 复制代码

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10.0,
segment1.ts
#EXTINF:10.0,
segment2.ts
#EXTINF:10.0,
segment3.ts
#EXT-X-ENDLIST

常见的 .m3u8扩展标签

#EXT-X-DISCONTINUITY: 标记媒体段之间的时间戳或编码格式的不连续性。通常在不同的编码流之间使用。
#EXT-X-PROGRAM-DATE-TIME: 指定播放列表中某个时间点的实际日期和时间。
#EXT-X-ALLOW-CACHE:<YES|NO>: 指定客户端是否可以缓存媒体文件。

hls的特性

自适应流：HLS支持多个不同码率的视频流，客户端根据当前带宽情况自动切换最佳码率，提供更好的观看体验。
跨平台支持：HLS是基于HTTP协议，因此可以通过任何支持HTTP的客户端播放。它也得到广泛的浏览器和设备的支持（如iOS、Android、macOS、Windows等）。
实时直播支持：HLS协议不仅支持视频点播（VOD），还可以支持实时直播流。
广泛的CDN兼容性：因为HLS使用HTTP协议，它可以很容易地通过内容分发网络（CDN）进行分发，确保高效的视频传输。
内容保护：HLS支持加密流，提供了对视频内容的保护，确保视频播放时不会被未经授权的用户访问。

hls的特点

优点：

易于部署：HLS通过HTTP进行流媒体传输，几乎可以与任何Web服务器兼容，并且不需要特定的协议或协议支持。
广泛支持：由于它是由苹果公司提出的，因此特别适用于iOS和macOS设备。此外，越来越多的浏览器和设备也支持HLS。
自适应比特率：根据网络条件动态调整视频质量，避免播放卡顿。

缺点：

延迟较高：HLS的延迟相对较高，尤其是实时直播场景中。通常会有15到30秒的延迟，虽然可以通过减少每段视频的长度来降低延迟，但代价是增加了请求次数和带宽消耗。
效率问题：相比其他协议（如DASH），HLS的传输效率相对较低，特别是在高清和超高清视频内容中。
视频切片的管理：在需要快速变化的直播场景中，视频切片的管理和更新可能会带来额外的复杂性。

HLS与其他流媒体协议对比

与RTMP（Real-Time Messaging Protocol）：

HLS协议更适合基于HTTP传输的流媒体应用，并且具有较高的可扩展性。而RTMP主要用于低延迟的直播，通常在直播场景下使用较多。
HLS的延迟比RTMP要高。

与DASH（Dynamic Adaptive Streaming over HTTP）：

DASH协议类似于HLS，也是基于HTTP的自适应流传输协议。DASH的优势是开源、标准化，且支持更细粒度的控制，但在设备兼容性上可能不如HLS广泛。

常见应用

视频点播（VOD）：HLS非常适合点播视频内容，特别是在需要跨多个平台（如iOS、Android、Web等）播放时。
实时直播：通过HLS进行直播时，可以将直播内容分割成多个小片段，逐步传输给观众。
视频监控：在一些视频监控应用中，HLS可以作为一种流媒体传输协议，用于将实时视频传输到监控平台或服务器。