AV1技术学习:Translational Motion Compensation

编码块根据运动矢量在参考帧中找到相应的预测块,如下图所示,当前块的左上角的位置为(x0, y0),在参考帧中找到同样位置(x0, y0)的块,根据运动矢量移动到目标参考块(左上角位置为:(x1, y1))。

AV1允许 1/8 亚像素运动矢量精度。亚像素是通过可分插值滤波器产生的,如下图所所示,首先通过所有的行计算水平插值,然后在水平插值所得亚像素(橙色)的基础上,进行垂直插值,产生最终的亚像素(绿色)。很明显,中间像素(橙色)可以重复使用以产生多个最终亚像素(绿色)。

常用的基于块的编码器运动估计是通过绝对差和(SAD)或平方误差和(SSE)的测量来进行的,这往往有利于与直流和低频分量相似的参考块,而对高频分量的预测不太可靠。具有高截止频率的插值滤波器可以更好的预测参考区域的高频分量,适用于参考块和当前块高频分量高度相关的情况;相反地,具有低截止频率的插值滤波器可以去除与当前块不太相关的高频分量。

在 VP9 中采用自适应插值滤波方案,即 VP9 中的编码块可以从三个 8 抽头的插值滤波器中选择,这些插值滤波器使用不同的频域的截止频率,所选的插值滤波器同时应用于垂直和水平方向。

AV1 中继承了 VP9 插值滤波器的设计,并且对其进行了扩展,支持垂直和水平方向使用不同的插值滤波器,通过该方法可以利用垂直方向和水平方向之间潜在的时间统计差异来提高预测质量。垂直和水平方向可以从三个有限脉冲响应(FIR)滤波器中选择:SMOOTH、REGULAR 和 SHARP (按照截止频率升序排列)

在变换域中,预测信号和源信号之间的相关性热图如下图所示,可以看到,SHARP 滤波器在水平和垂直方向上高频区域中具有更高的相关性,并且同一滤波器在水平和垂直方向的相关性分布是不同的。

为了降低解码器的复杂性,SMOOTH 和 REGULAR 滤波器采用六抽头 FIR 滤波器设计。SHARP滤波器继续使用 8 抽头 FIR 设计来减轻截止频率附近的纹波效应。对应于亚像素插值的滤波器系数为

其频率响应如上图所示。为了进一步降低最坏情况下(所有编码块划分为 4×4 块)的复杂度,当编码块的尺寸为 4 或更小时,使用两个额外的四抽头插值滤波器。亚像素插值的滤波系数为

因为抽头系数比较少,SHARP 滤波器是不适用此种情况的。

相关推荐
Industio_触觉智能3 天前
瑞芯微RK平台视频硬解排障指南-上|编解码、GStreamer与零拷贝全解析
视频编码·视频编解码·零拷贝·gstreamer·视频解码·rk3576
the3clipse10 天前
VVC码率控制算法:从数学模型到工程落地实战指南
视频编码·vvc·码率控制·r-λ模型·比特分配·x266调优·低延迟直播
the3clipse15 天前
VVenc开源编码器实战指南:H.266/VVC编码工具编译、参数调优与性能测试
视频编码·vvc·h.266·编译安装·vvdec·开源编码器
the3clipse16 天前
H.265全系列总结与H.266/VVC展望:从HEVC核心架构到下一代视频编码标准
视频编码·h.265·hevc·vvc·h.266·视频压缩·ctu
the3clipse16 天前
H.265熵编码核心:CABAC自适应二进制算术编码详解——如何将语法元素高效压缩为比特流
人工智能·算法·视频编码·h.265·hevc·cabac·cavlc
the3clipse17 天前
H.265变换与量化:如何更高效地处理残差数据——可变尺寸DCT/DST与量化矩阵优化
视频编码·h.265·hevc·dct·rqt·变换编码·dst
the3clipse17 天前
H.265运动补偿优化:Merge模式与AMVP技术详解——如何更高效地利用时间冗余
视频编码·h.265·运动补偿·帧间预测·amvp·merge模式·运动矢量预测
the3clipse19 天前
H.265:为什么我们需要新一代视频编码标准?——从H.264到HEVC的技术演进解析
视频编码·h.265·hevc·h.264·视频压缩·流媒体技术·带宽优化
the3clipse20 天前
H.265/HEVC、HEIF、HEIC 关系详解:为什么 HEIC 比 JPEG 更省空间?一文讲清容器、编码与文件后缀
视频编码·h.265·hevc·图片压缩·jpeg·heif·图像容器
the3clipse21 天前
Windows 10 与 Windows 11 视频编解码区别:AV1、HEVC、HDR 与 D3D12 编码支持对比
windows·h.265·hevc·hdr·av1·视频解码·d3d12