[ffmpeg系列 02] 音视频基本知识

一 视频

RGB:

AV_PIX_FMT_RGB24, ///< packed RGB 8:8:8, 24bpp, RGBRGB...

Y:明亮度, Luminance或luma, 灰阶图,

UV:色度,Chrominance或Chroma。

YCbCr: Cb蓝色分量,Cr是红色分量。

取值范围:0-256。

I420(yuv420p):4:2:0, 宽高是4x4:YYYYYYYYYYYYYYYYUUUUVVVV。

YUV大小:宽*高*1.5,Y占大小:宽*高,U占大小:宽*高/4,UV一样大。

YUV拼接:

上下:
Y1...Y16Y1...Y16U1...U4U1...U4V1...V4V1...V4

左右:
Y1...Y4Y1...Y4(重复四个)U1U2U1U2(重复2个)V1V2V1V2(重复2个)

两种打包格式:

planar平面、packed。

AV_PIX_FMT_YUV420P, ///< planar YUV 4:2:0, 12bpp, (1 Cr & Cb sample per 2x2 Y samples)

data0--Y, data1--U, data2--V。

AV_PIX_FMT_YUYV422, ///< packed YUV 4:2:2, 16bpp, Y0 Cb Y1 Cr

data0--YYYYUUVV,

AV_PIX_FMT_NV12, ///< planar YUV 4:2:0, 12bpp, 1 plane for Y and 1 plane for the UV components,

which are interleaved (first byte U and the following byte V)

data0 - Y, data1 - packed UV(UVUV)

码率(视频质量差,可以提高码率试试)、

帧率、分辨率、

I帧、P帧、B帧区别:

I帧是帧内编码,能独立解码成功。

P帧是帧间编码,前向预测,依赖于I帧或前面的P帧。

B帧是帧间编码,双向预测,依赖于I帧或前面、后面的P帧。

播放带B帧的视频:需要把B帧后面的P帧解码了,再播放。

压缩比:B>P>I。

带B帧的解码显示顺序:

二 音频

AV_SAMPLE_FMT_S16, ///< signed 16 bits

AV_SAMPLE_FMT_FLTP, ///< float, planar

Planar(平面的,带P)是左右声道分开存储,左声道data0,右声道data1。Ffmpeg内部存储使用的格式AV_SAMPLE_FMT_FLTP。

不带P,交错排序LRLR,data0,比如S16。

比较常用的音频格式:mp3、AAC、opus。

编码AAC:比如S16,双通道,一帧PCM数据字节数:1024*2*2=4096字节。

AAC LOW--1024、mp3--1152。

编码前格式要求FLTP。

一帧AAC播放的时间:1024/48000=21.33333333ms。

opus支持AV_SAMPLE_FMT_S16, frame_size =960。

const AVCodec ff_aac_encoder = {

.name = "aac",

.long_name = NULL_IF_CONFIG_SMALL("AAC (Advanced Audio Coding)"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_AAC,

.priv_data_size = sizeof(AACEncContext),

.init = aac_encode_init,

.encode2 = aac_encode_frame,

.close = aac_encode_end,

.defaults = aac_encode_defaults,

.supported_samplerates = mpeg4audio_sample_rates,

.caps_internal = FF_CODEC_CAP_INIT_THREADSAFE | FF_CODEC_CAP_INIT_CLEANUP,

.capabilities = AV_CODEC_CAP_SMALL_LAST_FRAME | AV_CODEC_CAP_DELAY,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_FLTP,

AV_SAMPLE_FMT_NONE },

.priv_class = &aacenc_class,

};

const AVCodec ff_libfdk_aac_encoder = {

.name = "libfdk_aac",

.long_name = NULL_IF_CONFIG_SMALL("Fraunhofer FDK AAC"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_AAC,

.priv_data_size = sizeof(AACContext),

.init = aac_encode_init,

.encode2 = aac_encode_frame,

.close = aac_encode_close,

.capabilities = AV_CODEC_CAP_SMALL_LAST_FRAME | AV_CODEC_CAP_DELAY,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_S16,

AV_SAMPLE_FMT_NONE },

.priv_class = &aac_enc_class,

.defaults = aac_encode_defaults,

.profiles = profiles,

.supported_samplerates = aac_sample_rates,

.channel_layouts = aac_channel_layout,

.wrapper_name = "libfdk",

};

const AVCodec ff_libopus_encoder = {

.name = "libopus",

.long_name = NULL_IF_CONFIG_SMALL("libopus Opus"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_OPUS,

.priv_data_size = sizeof(LibopusEncContext),

.init = libopus_encode_init,

.encode2 = libopus_encode,

.close = libopus_encode_close,

.capabilities = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_SMALL_LAST_FRAME,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_S16,

AV_SAMPLE_FMT_FLT,

AV_SAMPLE_FMT_NONE },

.supported_samplerates = libopus_sample_rates,

.priv_class = &libopus_class,

.defaults = libopus_defaults,

.wrapper_name = "libopus",

};

相关推荐
气泡音人声分离14 小时前
音频 Key 和 BPM 识别原理:歌曲调性和速度是如何分析出来的?
音视频·升降调·音频变速
海带紫菜菠萝汤17 小时前
WebCodecs API 实战:浏览器原生视频编解码的原理与性能测试
前端·javascript·音视频·视频编解码
kriston202618 小时前
2026音频指纹识别方案准确率对比:主流厂商差距与选型指南
音视频
薛定谔的猫-菜鸟程序员19 小时前
基于 Electron 的本地短视频解析与下载工具:架构设计与工程实践
java·electron·音视频
程序员大辉19 小时前
seedance2.0做的视频太贵?开源免费最佳替代方案:bernini生视频,ltx2.3来配音
音视频·视频大模型·ltx2.3·bernini
勿忘初心122121 小时前
【Windows流媒体实战1】FFmpeg+Nginx-RTMP Windows详细搭建教程
ffmpeg·nginx-rtmp·windows流媒体搭建·rtmp直播
AI星桥小王子21 小时前
镜头、角色、剧情自由把控,可控式 AI 视频工作台横向测评
人工智能·音视频
EasyDSS21 小时前
巡逻调度、应急呼叫、多路同屏——企业级融媒体平台EasyDSS一站式搞定园区安保所有音视频需求
音视频·媒体
hz5678921 小时前
应急管理部门跨部门会商用什么系统?指挥调度视频会议方案解析
网络·安全·音视频·实时音视频·信息与通信
人工智能研究所1 天前
ResearchStudio-Reel: 学术论文到海报、视频、博客的“最后一公里“
人工智能·microsoft·音视频·博客·ppt·学术论文·ai创作