播放器框架
相关术语
•容器/文件(Conainer/File):
即特定格式的多媒体文件,比如mp4、flv、mkv等。
• 媒体流(Stream):
表示时间轴上的一段连续数据,如一段声音数据、一段视频数据或一段字幕数据,可以是压缩的,也可以是非压缩的,压缩的数据需要关联特定的编解码器(有些码流音频他是纯PCM)。
• 数据帧/数据包(Frame/Packet):
通常,一个媒体流是由大量的数据帧组成的,对于压缩数据,帧对应着编解码器的最小处理单元,分属于不同媒体流的数据帧交错存储于容器之中。
• 编解码器:
编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。
复用器和解复用器(封装和解封装)
编码器和解码器
FFmpeg常用函数库
FFMPEG有8个常用库:
• AVUtil:
核心工具库,下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
• AVFormat:
文件格式和协议库,该模块是最重要的模块之一,封装了Protocol层Demuxer、Muxer层,使得协议和格式对于开发者来说是透明的。
• AVCodec:
编解码库,封装了Codec层,但是有一些Codec是具备自己的License的,FFmpeg是不会默认添加像libx264、FDK-AAC等库的,但是FFmpeg就像一个平台一样,可以将其他的第三方的Codec以插件的方式添加进来,然后为开发者提供统一的接口。
• AVFilter:
音视频滤镜库,该模块提供了包括音频特效和视频特效的处理,在使用FFmpeg的API进行编解码的过程中,直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。
• AVDevice:
输入输出设备库,比如,需要编译出播放声音或者视频的工具ffplay,就需要确保该模块是打开的,同时也需要SDL的预先编译,因为该设备模块播放声音与播放视频使用的都是SDL库。
• SwrRessample:
该模块可用于音频重采样,可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。
• SWScale:
该模块是将图像进行格式转换的模块,比如,可以将YUV的数据转换为RGB的数据,缩放尺寸由1280720变为800 480。
• PostProc:
该模块可用于进行后期处理,当我们使用AVFilter的时候需要打开该模块的开关,因为Filter中会使用到该模块的一些基础函数。