音视频学习（六十七）：音视频像素格式

在音视频处理领域，像素格式（Pixel Format）是视频编解码、图像处理和渲染的基础。像素格式决定了图像在内存中的组织方式，不同格式的选择会影响到存储效率、运算复杂度以及最终的画质表现。YUV 系列格式因其兼顾存储效率与图像质量，在视频编解码、硬件加速和传输过程中被广泛采用。尤其是 YUV420 家族和 NV12 格式，在 H.264/H.265 编解码器、GPU 图形接口以及视频处理管线中应用极为普遍。

YUV 色彩模型概述

YUV 的来源

YUV 是一种颜色编码方式，最初用于电视系统。与 RGB 模型不同，YUV 将图像分为 亮度（Y） 和 色度（U、V） 两部分：

Y（Luma）：表示亮度信息，决定图像的明暗层次；
U（Cb）：表示蓝色色度偏移；
V（Cr）：表示红色色度偏移。

人眼对亮度比对色度更敏感，因此在存储或传输时，通常会对 U、V 进行下采样，以减少数据量。

YUV 与 RGB 的关系

YUV 与 RGB 之间可以通过矩阵变换互相转换，常见公式如下（BT.601 标准）：

bash 复制代码

Y=0.299R+0.587G+0.114B

U=−0.169R−0.331G+0.500B+128

V=0.500R−0.419G−0.081B+128

这种分离方式使得在视频压缩中可以利用人眼对色度的不敏感特性，有效降低码率。

YUV 采样格式分类

根据色度下采样方式，常见的 YUV 采样模式包括：

YUV444：Y、U、V 各自都有完整分辨率，不进行色度下采样。质量最高，但存储开销大。
YUV422：每两个像素共享一组 U、V 分量。数据量减少 1/3。
YUV420：每 2×2 像素块共享一组 U、V 分量。数据量约为 YUV444 的一半。
YUV411/410：更强的下采样，质量损失较大，现代视频编码中较少使用。

其中，YUV420 是现代视频编码的主流格式，因为它在图像质量与存储效率之间取得了良好平衡。

YUV420 系列格式

YUV420 根据 存储方式 的不同，衍生出多种具体格式。主要区别在于 Y、U、V 平面的排列顺序和存储方式。

I420（YUV420P）

存储顺序：Y 平面 → U 平面 → V 平面；
每个平面单独存储，属于 Planar（平面型） 格式；
内存布局：
- Y：W×H 字节；
- U：W/2×H/2 字节；
- V：W/2×H/2 字节。

YV12

与 I420 类似，但 U、V 平面顺序互换；
存储顺序：Y 平面 → V 平面 → U 平面。

NV12

存储顺序：Y 平面 → UV 交错平面；
属于 Semi-Planar（半平面型） 格式；
内存布局：
- Y：W×H 字节；
- UV：W×H/2 字节，其中 U、V 交错存储（U0V0U1V1...）。

NV21

与 NV12 类似，但交错顺序为 VU；
存储顺序：Y 平面 → VU 交错平面；
Android 摄像头 API 常用此格式。

NV12 与 YUV420 的比较

存储结构

I420/YV12：三个平面，存取灵活，便于单独处理 U、V 分量；
NV12/NV21：两个平面，内存访问更连续，适合硬件加速。

内存占用

假设分辨率为 1920×1080（Full HD）：

Y：1920×1080 = 2073600 字节；
U：960×540 = 518400 字节；
V：960×540 = 518400 字节；
总计 ≈ 3 MB（无论是 I420 还是 NV12，占用一致）。

硬件支持

NV12：广泛支持于 Intel QuickSync、NVIDIA NVDEC/NVENC、DirectX、VAAPI、FFmpeg；
NV21：Android 平台摄像头数据输出常用；
I420：软件编解码和跨平台通用。

典型应用场景

I420/YV12：图像处理、编解码中间数据、学术研究；
NV12：GPU 硬件编解码、Direct3D/OpenGL 渲染；
NV21：Android 摄像头数据采集。

优缺点总结

I420

优点：通用性好，格式清晰；
缺点：访存分散，对 GPU 加速不友好。

YV12

优点：与 I420 类似，部分解码器历史兼容；
缺点：V、U 顺序特殊，跨平台支持较弱。

NV12

优点：连续内存布局，GPU 友好，硬件加速广泛支持；
缺点：单独处理 U/V 不如 I420 方便。

NV21

优点：Android 主流格式；
缺点：跨平台兼容性差。

总结

NV12、YUV420 等像素格式作为视频处理中的基础环节，虽然只是底层数据存储方式，但对视频编解码效率、跨平台兼容性和最终渲染效果有着重要影响。随着 GPU 加速和移动端应用的发展，NV12 已成为硬件编解码与渲染的事实标准，而 I420 仍然在跨平台和软件处理场景中不可或缺。未来，随着 HDR、10bit/12bit 色深和 4:4:4 高质量视频的普及，YUV 格式可能会逐步向更高精度和更灵活的存储方式演进，但在高效视频传输与压缩领域，YUV420 家族仍将长期存在。