00-音视频-概述

有很多场合会使用的音视频,比如安防、视频闸机、影音播放器、视频通话,短视频等等。

从摄像头采集到用户观看,这中间涉及到了很多技术。

用户一般观看的高清视频1080P30帧。若按24位RGB对视频进行存储,一个60分钟视频所占空间

size=60*60*1920*1080*30*3=625G

也就是说,一个60分钟的视频需要625G的硬盘容量,这么大的数据量,是现在的计算机系统所无法允许的。

因而对于摄像头采集的RGB或者YUV数据而言,我们需要将其占有的空间变小,这一步压缩视频的操作要作编码,市面上将原始视频编码成H264或H265,而将H264或H265还原成RGB或YUV的操作,要作解码。

音频的原始数据是PCM格式,将其编码可得G711和AAC格式的音频数据,同样也存在解码的操作。

我们看见一个电影,一般是MP4等格式,并且MP4视频是有音频,视频,字幕的。原因就是将音频,视频等数据进行了Mp4封装。

视频封装,其实就是把所有相关信息(视频、音频、字幕、媒体信息等)打包为一个文件。比如,将H.264编码的视频和MP3编码的音频按照MP4的封装标准封装起来,这样我们看到的就是MP4格式的视频文件了。

因而,摄像头设备端所完成事情就是将源音视频数据编码,封装成一个MP4或RMVB文件,而客户端需要完成的是将Mp4视频解封装, 解码成视频RGB,PCM显示与播放。

另外现在的抖音,网站,或者电影,我们会发现大多数情况下,采集端与播放端并不是一个设备,播放端获取获取采集端视频的方法,最普遍的就是网络传输。

现在我们清楚了音视频领域所要完成的工作,后面我们对每一种工作所用的最常用的技术进行举例:

1.编码:

视频编码方式:YUV->H264

音频编码:PCM->G711A

2.写封装

H264,G711A->MP4

3.网络传输

按协议封包

解协议

4.解封装

MP4->H264,G711A

5.解码

H264->YUV

G711A->PCM

相关推荐
linux_cfan6 小时前
17 · 引擎适配器全景:HLS/DASH/Vimeo/Mux/Cast
前端·javascript·音视频
音视频牛哥8 小时前
视频编码的终局不是“更省码率”:从 H.266、AV2 到 AI 编解码的下一场竞争
音视频·h.266·rtsp h.266·h.266编解码·rtp h.266·rtp vvc·ai编解码
程序员老陆12 小时前
WHIP 与 WHEP:WebRTC 直播的标准化入口与出口
ffmpeg·音视频·webrtc·whip·whep
linux_cfan13 小时前
16 · `custom-media-element`:属性拦截与转发
前端·javascript·音视频
纽格立科技16 小时前
动力的转向:当智能不再依赖碳基
车载系统·音视频·信息与通信·传媒
烟雨江南78517 小时前
会议语音识别私有化部署方案:音频不出内网,如何接入现有会议系统
人工智能·websocket·音视频·语音识别·ai客服
镭封1 天前
短剧多人对白怎么配?一人完成多角色配音的办法
人工智能·音视频·语音识别·媒体
技灵AI1 天前
Wan 3.0 API怎么做多参考商品视频?从图片、视频、音频分工到30秒交付
人工智能·prompt·aigc·音视频·wan 3.0
赛博仓鼠1 天前
MiniMax H3 实测:8GB显存跑2K视频+原生音频,开源视频生成的新卷王
开源·aigc·音视频
byte轻骑兵1 天前
【LE Audio】PBP精讲[4]: 公共广播通告的设计逻辑与数据交互流程
人工智能·音视频·le audio·低功耗蓝牙音频