AV1技术学习: Compound Prediction

一、双向 Compound Prediction

AV1支持两个参考帧的预测通过多种复合模式线性组合。复合预测公式为

其中,权重m(x, y) is scaled by 64 以进行整数计算,R1(x, y)和R2(x, y)表示两个参考块中位于(x, y)的像素。P(x, y)将按比例缩小 1/64 以形成最终的预测。

1. Distance weighted prediction

让 d1 和 d2 分别表示当前帧与其两个参考帧之间的时间距离。权值 m(x, y) 由 d1 和 d2 的相对值决定。假设 d1≤d2,则权重定义为

当d1≥d2时,分布是对称的。

2. Average predictor

距离加权预测的一种特殊情况,两个参考的权重相等,即 m(x, y) = 32。

3. Difference weighted predictor

加权系数是基于两个参考像素之间的差异逐像素计算。当像素差超过一定阈值时,每个编码块发送一个二进制符号来决定哪个参考块占上风

注意,m(x, y)的上限为0,64。

4. Wedge mode

为每个符合条件的块大小预设了一组16个系数数组。将编码块分成两个子区域,并以不同的斜角。M (x, y)在大分区设置为64,在另一个分区设置为0,除了在过渡边缘附近,从64逐渐变为0,在实际边缘处为32。

我们使用下图来演示复合选项及其效果。为了实现其潜在的编码增益,众多的复合模式增加了大量的编码复杂性。尤其对于运动估计过程,因为每个参考块都与自己的运动向量相关联。同时对给定复合模式的两个运动向量进行优化,使得搜索空间呈指数级增长。先前的研究提出了一种联合搜索方法,迭代地固定一个运动向量,搜索另一个运动向量,直到结果收敛,可以显著减少复合模式的运动向量搜索点的数量。

二、单向 Compound Prediction

AV1 支持的单个参考帧的 Compound Prediction 模式,包括包括重叠块运动补偿和 inter-intra 组合 prediction 模式。

1. Overlapped block motion compensation

重叠块运动补偿(Overlapped block motion compensation)利用直接空间邻居的运动信息来提高其顶部和左侧边界附近像素的预测质量,其中真实的运动轨迹与两侧的运动向量相关

首先扫描上侧相邻块,并找到最多四个与当前块具有相同参考帧的相邻块作为参考块,如下图 (a) 所示,并且相邻块根据扫描顺序所标记。使用每个选定的参考块的运动矢量来生成从上边界向当前块的中心延伸的运动补偿块。其宽度与参考块宽度相同,高度为当前块高度的一半,如下图 (a) 所示。

中间区域融合结果为

其中 R1(x, y) 是使用当前块的运动向量 mv0 在位置(x, y)处的原始运动补偿像素,Rabove(x, y)是来自重叠参考块的像素。权值m(x, y)遵循一个升余弦函数,如下图所示,其中y = 0,1,...,H/2−1为行索引,H为当前块高度。

H = 16 时的权重分布如下图所示。

接下来,该方案对左侧相邻块进行处理,提取可用的运动向量,并构建从左边界向中心延伸的重叠参考块,如图 (b) 所示。

最终预测计算为:

其中Rleft(x, y)是左侧重叠参考块的像素。权值m(x, y)是列索引x的升余弦函数

式中x = 0,1 ...,W/2−1,W为当前块宽度

2. Compound inter--intra-predictor

该模式结合了帧内预测和 translational interprediction块。其中帧内预测在 DC、垂直、水平和 Smooth 模式中选择。这种组合可以通过类似于上述复合夹层的楔形掩模或一个预设系数集来实现,该系数集沿其预测方向逐渐减小预测内权重。每个模式预设权重系数的示例如下图所示:

相关推荐
the3clipse6 天前
VVC码率控制算法:从数学模型到工程落地实战指南
视频编码·vvc·码率控制·r-λ模型·比特分配·x266调优·低延迟直播
the3clipse12 天前
VVenc开源编码器实战指南:H.266/VVC编码工具编译、参数调优与性能测试
视频编码·vvc·h.266·编译安装·vvdec·开源编码器
the3clipse13 天前
H.265全系列总结与H.266/VVC展望:从HEVC核心架构到下一代视频编码标准
视频编码·h.265·hevc·vvc·h.266·视频压缩·ctu
the3clipse13 天前
H.265熵编码核心:CABAC自适应二进制算术编码详解——如何将语法元素高效压缩为比特流
人工智能·算法·视频编码·h.265·hevc·cabac·cavlc
the3clipse13 天前
H.265变换与量化:如何更高效地处理残差数据——可变尺寸DCT/DST与量化矩阵优化
视频编码·h.265·hevc·dct·rqt·变换编码·dst
the3clipse14 天前
H.265运动补偿优化:Merge模式与AMVP技术详解——如何更高效地利用时间冗余
视频编码·h.265·运动补偿·帧间预测·amvp·merge模式·运动矢量预测
the3clipse16 天前
H.265:为什么我们需要新一代视频编码标准?——从H.264到HEVC的技术演进解析
视频编码·h.265·hevc·h.264·视频压缩·流媒体技术·带宽优化
the3clipse16 天前
H.265/HEVC、HEIF、HEIC 关系详解:为什么 HEIC 比 JPEG 更省空间?一文讲清容器、编码与文件后缀
视频编码·h.265·hevc·图片压缩·jpeg·heif·图像容器
the3clipse18 天前
Windows 10 与 Windows 11 视频编解码区别:AV1、HEVC、HDR 与 D3D12 编码支持对比
windows·h.265·hevc·hdr·av1·视频解码·d3d12
the3clipse18 天前
MacOS、Linux 与 Windows 视频编解码对比:AV1、HEVC、ProRes 与硬件加速优劣势
linux·windows·macos·hevc·av1·视频解码·硬件解码