[ffmpeg系列 02] 音视频基本知识

一 视频

RGB:

AV_PIX_FMT_RGB24, ///< packed RGB 8:8:8, 24bpp, RGBRGB...

Y:明亮度, Luminance或luma, 灰阶图,

UV:色度,Chrominance或Chroma。

YCbCr: Cb蓝色分量,Cr是红色分量。

取值范围:0-256。

I420(yuv420p):4:2:0, 宽高是4x4:YYYYYYYYYYYYYYYYUUUUVVVV。

YUV大小:宽*高*1.5,Y占大小:宽*高,U占大小:宽*高/4,UV一样大。

YUV拼接:

上下:
Y1...Y16Y1...Y16U1...U4U1...U4V1...V4V1...V4

左右:
Y1...Y4Y1...Y4(重复四个)U1U2U1U2(重复2个)V1V2V1V2(重复2个)

两种打包格式:

planar平面、packed。

AV_PIX_FMT_YUV420P, ///< planar YUV 4:2:0, 12bpp, (1 Cr & Cb sample per 2x2 Y samples)

data0--Y, data1--U, data2--V。

AV_PIX_FMT_YUYV422, ///< packed YUV 4:2:2, 16bpp, Y0 Cb Y1 Cr

data0--YYYYUUVV,

AV_PIX_FMT_NV12, ///< planar YUV 4:2:0, 12bpp, 1 plane for Y and 1 plane for the UV components,

which are interleaved (first byte U and the following byte V)

data0 - Y, data1 - packed UV(UVUV)

码率(视频质量差,可以提高码率试试)、

帧率、分辨率、

I帧、P帧、B帧区别:

I帧是帧内编码,能独立解码成功。

P帧是帧间编码,前向预测,依赖于I帧或前面的P帧。

B帧是帧间编码,双向预测,依赖于I帧或前面、后面的P帧。

播放带B帧的视频:需要把B帧后面的P帧解码了,再播放。

压缩比:B>P>I。

带B帧的解码显示顺序:

二 音频

AV_SAMPLE_FMT_S16, ///< signed 16 bits

AV_SAMPLE_FMT_FLTP, ///< float, planar

Planar(平面的,带P)是左右声道分开存储,左声道data0,右声道data1。Ffmpeg内部存储使用的格式AV_SAMPLE_FMT_FLTP。

不带P,交错排序LRLR,data0,比如S16。

比较常用的音频格式:mp3、AAC、opus。

编码AAC:比如S16,双通道,一帧PCM数据字节数:1024*2*2=4096字节。

AAC LOW--1024、mp3--1152。

编码前格式要求FLTP。

一帧AAC播放的时间:1024/48000=21.33333333ms。

opus支持AV_SAMPLE_FMT_S16, frame_size =960。

const AVCodec ff_aac_encoder = {

.name = "aac",

.long_name = NULL_IF_CONFIG_SMALL("AAC (Advanced Audio Coding)"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_AAC,

.priv_data_size = sizeof(AACEncContext),

.init = aac_encode_init,

.encode2 = aac_encode_frame,

.close = aac_encode_end,

.defaults = aac_encode_defaults,

.supported_samplerates = mpeg4audio_sample_rates,

.caps_internal = FF_CODEC_CAP_INIT_THREADSAFE | FF_CODEC_CAP_INIT_CLEANUP,

.capabilities = AV_CODEC_CAP_SMALL_LAST_FRAME | AV_CODEC_CAP_DELAY,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_FLTP,

AV_SAMPLE_FMT_NONE },

.priv_class = &aacenc_class,

};

const AVCodec ff_libfdk_aac_encoder = {

.name = "libfdk_aac",

.long_name = NULL_IF_CONFIG_SMALL("Fraunhofer FDK AAC"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_AAC,

.priv_data_size = sizeof(AACContext),

.init = aac_encode_init,

.encode2 = aac_encode_frame,

.close = aac_encode_close,

.capabilities = AV_CODEC_CAP_SMALL_LAST_FRAME | AV_CODEC_CAP_DELAY,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_S16,

AV_SAMPLE_FMT_NONE },

.priv_class = &aac_enc_class,

.defaults = aac_encode_defaults,

.profiles = profiles,

.supported_samplerates = aac_sample_rates,

.channel_layouts = aac_channel_layout,

.wrapper_name = "libfdk",

};

const AVCodec ff_libopus_encoder = {

.name = "libopus",

.long_name = NULL_IF_CONFIG_SMALL("libopus Opus"),

.type = AVMEDIA_TYPE_AUDIO,

.id = AV_CODEC_ID_OPUS,

.priv_data_size = sizeof(LibopusEncContext),

.init = libopus_encode_init,

.encode2 = libopus_encode,

.close = libopus_encode_close,

.capabilities = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_SMALL_LAST_FRAME,

.sample_fmts = (const enum AVSampleFormat\[\]){ AV_SAMPLE_FMT_S16,

AV_SAMPLE_FMT_FLT,

AV_SAMPLE_FMT_NONE },

.supported_samplerates = libopus_sample_rates,

.priv_class = &libopus_class,

.defaults = libopus_defaults,

.wrapper_name = "libopus",

};

相关推荐
美狐美颜SDK开放平台1 天前
开发直播APP时如何接入视频美颜SDK?开发流程与注意事项
android·人工智能·计算机视觉·音视频·直播美颜sdk
2601_955662461 天前
短剧多人对白怎么配?2026年多角色配音工具对比
大数据·人工智能·音视频·语音识别
开发笔记-阿牛1 天前
蓝牙音乐灯拆解,又一次拆到蓝牙音乐灯芯片CK6865L
人工智能·单片机·嵌入式硬件·音视频·音频
旺仔小馒头wang1 天前
AI 智能手机发布会:赋予人类的五种新能力
人工智能·学习·音视频
纳祥科技1 天前
拆机拆到芯片级:ARC功放机里的NX7026、NX8420、NX6805
单片机·音视频·智能音箱
youandyouyou1 天前
律所内部培训共享的内网部署方案:架构、参数与三步落地
音视频
爱吃提升1 天前
文生视频核心
人工智能·音视频
2601_955662461 天前
抖音视频怎么做多语言配音?2026年AI配音工具与制作流程详解
人工智能·音视频·语音识别·视频
音视频牛哥1 天前
Android与HarmonyOS NEXT如何接入GB28181:从SIP到PS/RTP的完整链路
音视频·gb28181-2022对接·鸿蒙next gb28181·gb/t 28181-2022·gb/t 28181-2016·gb28181-2022平台
美狐美颜SDK开放平台1 天前
直播APP源码与视频美颜sdk如何配合?一套完整开发思路
android·人工智能·计算机视觉·音视频·直播美颜sdk