1.音视频开篇

目录

音视频播放的原理

音视频数据格式YUV

YUV数据存储比

[​编辑 YUV空间格式](#编辑 YUV空间格式)

RGB与YUV转换


音视频播放的原理

主要分为:解协议->解封装->解码->音视频同步->播放。当然,如果是本地播放,没有解协议这一步骤。

采集数据其实就可以反过来

音视频数据格式YUV

RGB 是色彩空间的格式:分别是红、绿、蓝色,数值是0-255,比如我们屏幕像素可能就是RGB的混合显示。

YUV数据存储比

YUV数据由Y、U、V三个分量组成,现在通常说的YUV指的是YCbCr。

  • Y:表示亮度(Luminance、Luma),占8bit(1字节)
  • Cb 、Cr :表示色度(Chrominance、Chroma)
    • Cb(U):蓝色色度分量,占8bit(1字节)
    • Cr(V):红色色度分量,占8bit(1字节)

那比如我们常说的YUV(4:4:4)是指空间上的占比:4*4矩阵,Y、U、V比例为4:4:4,相当于一个像素点是由yuv组成的 ,每一个 Y 分量对于一对 UV 分量

每两个 Y 分量共用一对 UV 分量,每像素占用 (Y + 0.5U + 0.5V = 8 + 4 + 4 = 16bits)2 字节;水平方向Y分量与UV分量2:1采样,垂直方向不降低采样率

每四个 Y 分量共用一对 UV 分量,每像素占用 (Y + 0.25U + 0.25V = 8 + 2 + 2 = 12bits)1.5 字节。水平和垂直方向上Y分量和UV分量对的采样比都是2:1

YUV空间格式

主要分为packet、planar、semi-planar三种:

◆ packet:打包格式,即先存储一个yuv,再存储下一个yuv;

◆ planar:平面格式,即先存储y平面,再存储u平面,再存储v平面;

◆ semi-planar:先存储y平面,再存储uv平面;

YUV422各种存储格式如下:

YUV420各种存储格式如下:

◆NV:NV系列都属于semi-plane系列,"12"、"16"代表先U后V,"21"、"61"代表先V后U

◆ 12、16:代表一个像素占的位数

RGB与YUV转换

转换公式1

  • RGB的取值范围是0,255

  • Y的取值范围是16,235

  • UV的取值范围是16,239

    Y = 0.257R + 0.504G + 0.098B + 16
    U = -0.148R - 0.291G + 0.439B + 128
    V = 0.439R - 0.368G - 0.071B + 128

    R = 1.164(Y - 16) + 2.018(U - 128)
    G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
    B = 1.164(Y - 16) + 1.596(V - 128)

公式2

  • RGB的取值范围是0, 1

  • Y的取值范围是0, 1

  • UV的取值范围是-0.5, 0.5

    Y = 0.299R + 0.587G + 0.114B
    U = 0.564(B - Y) = -0.169R - 0.331G + 0.500B
    V = 0.713(R - Y) = 0.500R - 0.419G - 0.081B

    R = Y + 1.403V
    G = Y - 0.344U - 0.714V
    B = Y + 1.770U

公式3

  • RGB的取值范围是0, 255

  • YUV的取值范围是0, 255

    Y = 0.299R + 0.587G + 0.114B
    U = -0.169R - 0.331G + 0.500B + 128
    V = 0.500R - 0.419G - 0.081B + 128

    R = Y + 1.403(V - 128)
    G = Y - 0.343(U - 128) - 0.714(V - 128)
    B = Y + 1.770(U - 128)

相关推荐
the3clipse21 小时前
Windows 11 26H2 声音与音频问题排查指南:没声音、麦克风不收音与蓝牙音频优化
音视频·le audio·windows 11 26h2·win11没声音·麦克风没声音·蓝牙耳机音质·音频服务修复
开开心心就好1 天前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
RobinDevNotes2 天前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
伯奥克客服2 天前
2026年视频综合一体机架构选型:从接口协议到流媒体底层的深度技术解析
架构·音视频
开开心心就好2 天前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
FansAI_art2 天前
多角色 AIGC 短片的双模型分工:静态生图与图生视频怎么接
aigc·音视频
山顶夕景3 天前
【ECCV2026】流式视频理解Thinking in Streaming Video
音视频·vlm·视频理解·多模态理解·流式视频
StarsGreen4 天前
ffmpeg中常用结构体以及函数简介以及版本变化情况
ffmpeg
zhanlang02174 天前
HTML 零基础入门到企业实战【第五章 5.4】内嵌网页 iframe 标签:嵌入网页、视频、地图实战
前端·html·音视频
TengTaiTech4 天前
头戴耳机做运动相机外接麦:一颗麦克风同时服务蓝牙通话与 3.5mm 录音的底层重构
数码相机·音视频·蓝牙·qcc