音视频入门

一个视频,一秒内普遍大于等于25帧。

入门知识:

1.帧,一张画面就是一帧。一个视频就是由许许多多帧组成的。

帧率,单位时间内帧的数量。单位:帧/秒 或 fps。

分类:I帧,P帧,B帧

I帧:不需要参考其他画面而生成,解码时仅靠自己就重构完整图像;

P帧:根据本帧与相邻的前一帧(I帧或P帧)的不同点来压缩本帧数据

B帧:B 帧图像采用双向时间预测,可以大大提高压缩倍数。

2.色彩空间

1)RGB:red, green, blue 三种颜色

2)YUV:亮度值:Y,色彩度UV(U:蓝色通道与亮度的差值,V:红色通道与亮度的差值)(兼容黑白电视)

声音是由物体的振动产生的,这种振动引起了周围空气压强的振荡,我们称这种振荡的函数表现形式为波形.声音有振幅,振幅的主观感觉是声音的大小。计算机并不直接使用连续平滑的波形来表示声音,它是每隔固定的时间对波形的幅值进行采样,用得到的一系列数字量来表示声音。

3.采样率:即声音的采样频率,采样率要大于原声波频率的2倍,人耳能听到的为[20Hz, 20Khz],所以采样率为[40,40KHz]。

4.采样位数:计算机内有采样器来记录振幅,通常有8 16 32位(采样值的精度取决于它用多少位来表示)

如果对视频及音频不做压缩编码,那么对内存的消耗是极大的。
未经编码的原始音视频,数据量至底有多大?
以一个分辨率 1920×1280 ,帧率 30 的视频为例:
共: 1920×1280=2,073,600 ( Pixels 像素),每个像素点是 24bit ;
也就是: 每幅图片 2073600×24=49766400 bit , 8 bit (位) =1 byte (字节);
所以: 49766400bit=6220800byte≈ 6.22MB
这是一幅 1920×1280 图片的原始大小( 6.22MB ,再乘以帧率 30 。
也就是说: 每秒视频的大小是 186.6MB每分钟大约是 11GB

视频编码常见编码方式:H264,H265。

音频编码常见编码方式:AAC

ACC格式主要为两种:ADIF,ADTS.

ADIF:只有一个统一的头,必须在得到所有数据后解码。

ADTS:ADTS可以在任意帧解码,它每一帧都有头信息。

硬解码和软解码

软解码:利用CPU的来解码,使用统一的算法,兼容性很好。

硬解码:利用专门的解码芯片来解码,速度快,但是容易因为质量问题出现兼容性问题。

mp4, avi, mov等常见的音视频格式,是包裹了音视频编码数据的容器,用来把以特定编码标准编码的视频流和音频流混在一起,成为一个文件。

音视频同步方式:Audio Master:同步视频到音频 Video Master:同步音频到视频

External Clock Master:同步音频和视频到外部时钟。

一般情况下 Audio Master > External Clock Master > Video Master

相关推荐
云边散步1 天前
godot2D游戏教程系列二(23)
笔记·学习·游戏·音视频·游戏开发
linkingvision1 天前
国产操作系统和国产GPU 能代替Windows + Intel的安防视频客户端解码功能么
音视频·视频监控·国产显卡·vaapi·国产cpu·国产gpu
AI服务老曹1 天前
打破协议孤岛:基于 GB28181/RTSP 的 AI 视频统一接入网关架构解析(源码级)
人工智能·架构·音视频
烧饼Fighting1 天前
java+vue推rtsp流实现视频播放(由javacv+ffmpg转为vlcj)
java·开发语言·音视频
Black蜡笔小新1 天前
GB28181/GB35114/RTSP/ONVIF视频监控平台EasyCVR平台视频质量诊断扩展服务插件
音视频
ai产品老杨1 天前
终结碎片化:基于GB28181/RTSP协议网关与边缘协同的企业级AI视频平台架构深度解析(附源码交付)
人工智能·架构·音视频
EasyGBS1 天前
实战落地:国标GB28181视频平台EasyGBS+国密GB35114协议,双重保障赋能智慧安防全场景安全高效联网
人工智能·安全·音视频
正宗咸豆花1 天前
Sora关停,实时AI交互如何破解视频生成的高成本困境?
人工智能·音视频
愚公搬代码1 天前
【愚公系列】《剪映+DeepSeek+即梦:短视频制作》031-调色:废片秒变氛围感大片(滤镜的风格化调节)
音视频
无线图像传输研究探索1 天前
无人机、DV 摄像机视频画面无距离限制实时回传,这款 5G多卡单兵图传设备你怎么看?
5g·音视频·无人机·无线图传·5g单兵图传·单兵图传