音视频转码

音视频转码是指:

  • 容器中音视频数据编码方式转换,如由H.264编码转成mpeg-4编码,mp3转成AAC;
  • 音视频码率的转换,如4Mb视频码率降为2Mb,
  • 视频分辨率的转换,如1080P转换为720P,音频重采样等

音视频转码一般过程是先解码再编码,方式可以是通过软件解码和编码(俗称软解软编),亦可以是通过硬件解码和编码(俗称硬解硬编)。视频解码一般是解码为YUV格式,音频解码一般是解码为PCM格式。

什么叫视频?

当连续的图像变化每秒超过24帧以上,根据视觉暂留原理,人眼无法辨别单幅的静态画面,看上去是平滑连续的视觉效果,这样的连续的画面就叫视频。

根据视频定义,我们不难理解,在视频数据中往往在时间域和空间域层面都存在大量冗余信息,而压缩技术就是去掉当中的冗余信息。

视频编码就是通过特定的压缩技术,将某个视频格式文件转换成另一种视频格式。

去除时间域的冗余信息主要包括:运动估计,运动补偿;去除空间域冗余信息主要包括变换编码、量化编码、熵编码。

  • 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像,这样可以有效减少帧序列冗余信息;
  • 运动估计是指从视频序列中抽取运动信息,通用的压缩标准使用基于块的运动估计和运动补偿。
  • 运动表示不同区域的图像使用不同的运动向量来描述运动信息,运动向量通过熵编码进行压缩,熵编码在编码过程中不会丢失信息
  • 变换编码是指将空间域的信息转换到另一正交向量空间,使相关性下降,数据冗余度减少。

未编码的数字视频的数据量很大,存储和传输都比较困难。据说一部90分钟的电影就大到1000GB,1s的视频大小就有186多MB,所以必须经过编码压缩之后才方便存储、方便网络上传输。

音视频转码就是将已压缩编码的音视频码流转换成另一种格式的码流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。音视频转码都是先解码再编码的过程。转换前后的码流可能遵循不同的视频编码标准,可能会改变视频数据现有的码流和分辨率。音视频转码可能会涉及以下几个方面:

  1. 容器格式的转换,如mp4转换为mov
  2. 容器中的音视频数据编码方式转换,如H.264编码转换成MPEG-4编码,MP3编码转换成AAC编码
  3. 音视频码率的转换,如4Mb的视频码率降为2Mb
  4. 视频分辨率的转换,如1080P转换为720P
相关推荐
饭饭大王66634 分钟前
CANN 生态深度整合:使用 `pipeline-runner` 构建高吞吐视频分析流水线
人工智能·音视频
晚霞的不甘2 小时前
CANN 编译器深度解析:TBE 自定义算子开发实战
人工智能·架构·开源·音视频
愚公搬代码2 小时前
【愚公系列】《AI短视频创作一本通》016-AI短视频的生成(AI短视频运镜方法)
人工智能·音视频
那个村的李富贵3 小时前
CANN赋能AIGC“数字人”革命:实时视频换脸与表情驱动实战
aigc·音视频
晚霞的不甘3 小时前
CANN 支持强化学习:从 Isaac Gym 仿真到机械臂真机控制
人工智能·神经网络·架构·开源·音视频
晚霞的不甘8 小时前
CANN 支持多模态大模型:Qwen-VL 与 LLaVA 的端侧部署实战
人工智能·神经网络·架构·开源·音视频
拾荒的小海螺16 小时前
开源项目:LTX2 高效可控的开源视频生成模型
开源·音视频
EasyGBS1 天前
视频画面模糊、卡顿、丢失?EasyGBS新增“视频质量诊断”功能,告别人工盯屏
视觉检测·音视频·gb28181·花屏·视频质量诊断·蓝屏检测
zhuweisky1 天前
ArkTS实现鸿蒙手机视频聊天、屏幕分享(HarmonyOS)
音视频·harmonyos·鸿蒙开发
XHW___0011 天前
webrtc 关键模块创建的时机
网络·音视频·webrtc