音视频开发15 FFmpeg FLV封装格式分析

FLV(Flash Video)简介

FLV(Flash Video)是Adobe公司推出的⼀种流媒体格式，由于其封装后的⾳视频⽂件体积⼩、封装简单等特点，⾮常适合于互联⽹上使⽤。⽬前主流的视频⽹站基本都⽀持FLV。采⽤ FLV格式封装的⽂件后缀为.flv。

FLV封装格式的组成

FLV封装格式是由⼀个⽂件头( file header ) 和⽂件体( file Body ) 组成。
其中，FLV body由⼀对对的(Previous Tag Size字段 + tag)组成。
Previous Tag Size字段排列在Tag之前，占⽤ 4个字节。
Previous Tag Size记录了前⾯⼀个Tag的⼤⼩，⽤于逆向读取处理。
由于 Previous Tag Size 记录的是前面一个Tag 的大小，因此FLV header 后的第⼀个Pervious Tag Size的值为0。
Tag⼀般可以分为3种类型：
脚本(帧)数据类型、
⾳频数据类型、
视频数据。
FLV数据以 ⼤端序进⾏存储 ，在解析时需要注意。⼀个标准FLV⽂件结构如下图：

FLV 文件的分析工具

可以使用UltraEdit 分析。将 flv 文件直接拖入到 UE 中。

使用 mediainfo 工具进行分析。

然后将flv 文件拖入 mediainfo工具中

我们这里使用 believe.flv文件做为标准分析结果如下：

注：在下⾯的数据type中，UI表示⽆符号整形，后⾯跟的数字表示其⻓度是多少位。⽐如
UI8 ，表示⽆符号整形，⻓度⼀个字节。 UI24 是三个字节,UI [8*n] 表示多个字节。UB表示位
域， UB5 表示⼀个字节的5位。可以参考c中的位域结构体。
FLV头占9个字节，⽤来标识⽂件为FLV类型，以及后续存储的⾳视频流。⼀个FLV⽂件，每种
类型的tag都属于⼀个流，也就是⼀个flv⽂件最多只有⼀个⾳频流，⼀个视频流，不存在多个
独⽴的⾳视频流在⼀个⽂件的情况。
00000 1 0 1

FLV Body 解析

FLV Header之后，就是FLV File Body。
FLV File Body是由⼀连串的 Previous Tag Size + Tag Header + Tag Data 构成。

Previous Tag Size

Previous Tag Size (前⼀个tag 的字节数据⻓度)，占 4个字节。注意是前一个tag的字节数据长度，因此FLV Header后面的第一个 Previous Tag Size的值是0，

tag header⼀般占11个字节的内存空间。FLV tag结构如下：

注意：

flv⽂件中Timestamp和TimestampExtended拼出来的是dts 。也就是解码时间。
Timestamp和TimestampExtended拼出来dts单位为ms。 (如果不存在B帧，当然dts等于
pts)
CompositionTime 表示PTS相对于DTS的偏移值，在每个视频tag的第14~16字节，。
显示时间(pts) = 解码时间（tag的第5~8字节） + CompositionTime
CompositionTime的单位也是ms
如下是将 FLV Header 的9个字节，
第一个 previous tag size
第一个tag header 解析

Tag Data

script data

该类型Tag⼜被称为 MetaData Tag ,存放⼀些关于FLV视频和⾳频的元信息，⽐如： duration、width、 height 等。
通常该类型Tag会作为FLV⽂件的第⼀个tag，并且只有⼀个，跟在File Header后。该类型Tag
DaTa的结构如下所示
接前面的分析：
Tag Body 对于tag type = 18，对应16进制为0X12来说：表示的是Script Tag Data，script tag data 的数据结构会在后面的具体讲解，这里只是对于一个简单的描述。

从data size 中看到，tag data的大小是 0x0000 01 8C，十进制是396.

那么从下图开始位置到下下图截止为止，就都是这个data 的数据，我们要做的是分析这个数据

第一个AMF包分析。

第⼀个AMF包：第1个字节表示AMF包类型，⼀般总是0x02，表示字符串。

第2-3个字节为UI16类型值，标识字符串的⻓度，⼀般总是0x000A（"onMetaData"⻓度）。

后⾯字节为具体的字符串，⼀般总为"onMetaData"（6F,6E,4D,65,74,61,44,61,74,61）。

第二个AMF包分析。

第⼆个AMF包：第1个字节表示AMF包类型，⼀般总是0x08，表示数组。

第2-5个字节为UI32类型值，表示数组元素的个数。

后⾯即为各数组元素的封装，数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

第⼆个AMF包：第1个字节表示AMF包类型，⼀般总是0x08，表示数组。

第2-5个字节为UI32类型值，表示数组元素的个数。

后⾯即为各数组元素的封装，数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

注：Lavf54.63.104即是 *L*ib*avf*ormat version 54.63.104. 即是ffmpeg对于库的版本

audio

⾳频Tag Data区域开始的：
第⼀个字节包含了⾳频数据的参数信息，
第⼆个字节开始为⾳频流数据。
（这两个字节属于tag的data部分，不是header部分）
第⼀个字节为⾳频的信息（仔细看spec发现对于AAC⽽⾔，⽐较有⽤的字段是 SoundFormat ），格式如下：

If the SoundFormat indicates AAC, the SoundType should be set to 1 (stereo) and the SoundRate should be set to 3 (44 kHz).

However, this does not mean that AAC audio in FLV is always stereo, 44 kHz data.

Instead, the Flash Player ignores these values and extracts the channel and sample rate data is encoded in the AAC bitstream.

如果SoundFormat指示AAC，则SoundType应设置为1（立体声），SoundRate应设置为3（44 kHz）。

然而，这并不意味着FLV中的AAC音频总是立体声的，44kHz的数据。

相反，Flash Player会忽略这些值，并提取信道和采样率数据被编码在AAC比特流中。

AudioTagHeader如上图所示，占1个字节，包含audio的各种信息。其后就是audio tag的data部分。

这里有一个特例，如果音频格式（SoundFormat）是10 = AAC，AudioTagHeader中会多出1个字节的数据AACPacketType，这个字段来表示AACAUDIODATA的类型：0 = AAC sequence header，1 = AAC raw。

AAC sequence header也就是包含了AudioSpecificConfig，AudioSpecificConfig包含着一些更加详细音频的信息，AudioSpecificConfig的定义在ISO14496-3中1.6.2.1 AudioSpecificConfig。在FLV的文件中，一般情况下 AAC sequence header 这种包只出现1次，而且是第一个audio tag。
如果是AAC数据，如果他是AAC RAW, tag data[2] 开始才是真正的AAC frame data。这里说的tag data[2],是以下标0开始的，也就是第三个字节才是真正的 aac 数据，

AAC raw 这种包含的就是音频ES流了，也就是audio payload。

video

视频Tag Data开始的：
第⼀个字节包含视频数据的参数信息，
第⼆个字节开始为视频流数据。

如果是AVC，那么第2个字节是 AVCPacketType ，3,4,5个字节是Compositon，从第6个字节开始才是data。
更具体的说，第二个字节有可能不是视频的真正数据。
这里也有一个特例，如果视频的格式是AVC（H.264）的话， VideoTagHeader 会多出4个字节的信息 AVCPacketType 和 CompositionTime。

（1）CompositionTime 单位毫秒
CompositionTime 每个视频tag（整个tag）的第 14~16 字节（如果是tag data偏移[3]~[5],
[0],[1][2:AVCPackettype] ）（表示PTS相对于DTS的偏移值）。
CompositionTime 单位为ms : 显示时间 = 解码时间（ tag的第5~8字节,位置索引[4]~[7] ）

CompositionTime
（2）AVCDecoderConfigurationRecord
AVC sequence header就是 AVCDecoderConfigurationRecord 结构，该结构在标准⽂
档" ISO-14496-15 AVC file format "
📎 ISOIEC 14496-15 Advanced Video Coding (AVC) file format.pdf 中有详细说明。
如果不是AVC，那么从第二个字节开始就是视频数据了。