音视频学习（八十八）：mp4

MP4 的本质：基于 Box 的树状结构

MP4 文件由一系列独立的单元组成，这些单元被称为 Box。每个 Box 的结构都非常统一，包含两部分：

Header： 包含 4 字节的 Box 长度（Size）和 4 字节的 Box 类型（Type，如 ftyp, moov, mdat）。
Data： 实际的内容，可以是二进制数据，也可以是嵌套的其他子 Box。

这种设计让 MP4 具有极强的扩展性------如果播放器不认识某个 Box，直接根据 Header 里的 Size 跳过即可。

核心Box解密：文件的"骨架"

一个标准的 MP4 文件通常由以下三个顶级 Box 组成：

1）ftyp (File Type Box)

文件类型的"名片"。它出现在文件的最开头，告诉解码器："我是一个符合 MPEG-4 标准的文件，建议用某种版本的规范来解析我"。

2）mdat (Media Data Box)

这是文件的"肌肉"，占据了 95% 以上的体积。它存放的是经过编码后的原始音视频流。

注意： mdat 里的数据是没有任何索引的。如果你直接从 mdat 中间截取一段，解码器是无法播放的，因为它不知道哪里是帧头，哪里是关键帧。

3）moov (Movie Box)

这是文件的"大脑"，也是最复杂的部分。它不包含任何媒体数据，而是存储了所有的元数据（Metadata）。

mvhd： 视频的创建时间、持续时长、播放速度等整体信息。
trak： 轨道信息。一个 MP4 包含多个 trak（如视频轨、音频轨、字幕轨）。
stbl (Sample Table Box)： 这是 MP4 最精妙的设计所在。 它记录了每一帧（Sample）在 mdat 中的具体位置、偏移量、时间戳和大小。

MP4 的索引逻辑：从"时间"到"位置"

播放器如何实现拖动进度条跳转？流程如下：

用户点击 01:00 处。
播放器查找 moov 下的 stbl 表。
通过 stts (时间转采样) 找到那一秒对应的帧号。
通过 stss (同步采样) 找到最近的关键帧。
通过 stco (分块偏移) 找到该帧在 mdat 里的二进制物理地址。
跳转到该地址，开始读取数据给解码器。

关键问题：FastStart 与元数据位置

MP4 有一个臭名昭著的缺点：moov 默认在文件尾部。

在早期网络环境下，浏览器必须下载完整个 MP4 文件（为了读到最后的 moov）才能开始播放。这对于流媒体是灾难性的。

解决方案： 使用 FFmpeg 的 -movflags +faststart。这个命令会将 moov 移动到文件头部。这样浏览器只要下载了几 KB 的头部信息，就能获取索引并立即开始首屏播放。

`-movflags +faststart` 的工作原理

当你在 FFmpeg 命令中加入该标志时，FFmpeg 在完成初次封装后，会执行一个**后处理（Post-processing）**步骤：

扫描文件： 视频录制结束，moov 已生成在文件末尾。
计算偏移： FFmpeg 计算 moov 盒子的总大小。
平移数据： 将原本在 mdat 之后的所有数据（即 moov）搬运到文件的开头（紧跟在 ftyp 之后）。
修正索引： 这是最关键的一步。由于 moov 被放到了前面，后面 mdat 中所有数据的物理位置（File Offset）都往后挪了。FFmpeg 必须递归遍历 moov 中的 stco (Chunk Offset) 和 co64 表，将里面记录的所有偏移量加上 moov 的大小。

text 复制代码

Step 1 (封装中): [ftyp] [mdat (视频流)] [moov (索引)]
Step 2 (执行faststart): 
   - 将 [moov] 移动到 [ftyp] 后面
   - 更新 [moov] 内部所有 stco/co64 的偏移数值
Step 3 (最终结果): [ftyp] [moov (修正后的索引)] [mdat (视频流)]

关键 Box 的变化：`stco` 与 `co64`

在 MP4 结构中，stco（Sample Table Chunk Offset）存储的是 32 位的偏移量。

如果移动 moov 后，视频数据的起始位置超过了 4GB，FFmpeg 会自动将 stco 升级为 co64（64 位偏移量）。
这就是为什么有些视频在转换后，其 moov 盒子体积会略微变大的原因。

进阶：Fragmented MP4 (fMP4)

传统的 MP4 结构在直播和自适应流媒体（DASH/HLS）面前显得过于臃肿，因为每次更新内容都要重写整个 moov。于是 fMP4 应运而生。它将文件拆成许多个微小的片段：

moov： 只存基本信息。
moof (Movie Fragment)： 存放这一小段视频的索引。
mdat： 存放这一小段视频的数据。

fMP4 是现代流媒体技术的基石。它不需要一个巨大的索引表，而是随传随解。

MP4 的封装开销与兼容性

MP4 虽然强大，但它是一种"重封装"。

AVCC vs Annex-B： MP4 内部存储 H.264 时使用的是 AVCC 格式（长度前缀），而不是直播流常用的 Annex-B（起始码）。
为什么 MP4 不适合录制？ 如果你在录制 MP4 时突然断电或程序崩溃，由于 moov 还没来得及写入（或者索引没更新完成），整个文件将无法打开。对于实时录制场景，TS 或 FLV 格式通常更安全。

MP4 结构

Box 类型	全称	作用	重要程度
ftyp	File Type Box	声明格式、协议、兼容性	必备
moov	Movie Box	管理轨道、索引、元数据	核心（大脑）
mdat	Media Data Box	存储加密后的音频、视频、字幕数据	核心（肌肉）
free/skip	Free Space Box	占位符，方便后期修改元数据而不移动大数据	可选