AV1技术学习:Loop Restoration Filter

环路恢复滤波器(restoration filter)适用于64 × 64、128 × 128 或 256 × 256 像素块单元,称为 loop restoration units (LRUs)。每个单元可以独立选择是否跳过滤波、使用维纳滤波器(Wiener filter)或使用自导滤波器(self-guided filter)。它应用于任何先前的环路滤波(Deblock、CDEF)后的重建像素。

1. Wiener Filter

维纳滤波器:在 LRU 上应用 7x7 可分离维纳滤波器,垂直和水平滤波器的滤波器参数由编码器决定,并在比特流中发出信号。由于对称和归一化约束,每个滤波器只需要发送三个系数。此外,需要注意的是,维纳滤波器对原点的权重幅度预计会更高,因此编解码器减少了用于较高抽头系数的位数,如下图所示:
Bit precision for Wiener filter parameters.

2. Self-Guided Filter:

该方案对重构像素 X 进行简单滤波,生成两个去噪版本 X1 和 X2,很大程度上保留了边缘过渡。它们与重建像素的差值 (X1−X) 和 (X2−X) 被用来跨出一个子空间,在这个子空间上我们投影重建像素与原始像素的差值 (Xs−X),如下图所示。编码器获得的最小二乘回归参数被发送给解码器,解码器使用该参数基于已知的基数 (X1−X) 和 (X2−X) 建立 (Xs−X) 的线性近似。
Project the gap between the source pixels Xs and
reconstructed pixels X on to a subspace spanned by simple
denoising results, X1 − X and X2 − X. The parameters in red are the
ones configurable through bitstream syntax.

特别地,使用半径 r 和噪声方差 e 来生成 LRU 的去噪版本,如下所示。

  1. 求得每个像素 x 周围 (2r + 1) × (2r + 1) 窗口中像素的均值 μ 和方差 σ2。

  2. 计算去噪像素为

(r, e) 对有效地控制去噪滤波器的强度。使用 (r1, e1) 和 (r2, e2) 生成两组去噪像素,以向量形式X1和X2表示,它们由编码器选择并在比特流中发出信号。设X为重构像素形成的向量,X为源像素的向量。自导滤波器的公式为

参数 (α, β) 由编码器用最小二乘回归得到

其中

其中参数(α, β)被发送到解码器以计算 Xr。

相关推荐
the3clipse2 小时前
H.265:为什么我们需要新一代视频编码标准?——从H.264到HEVC的技术演进解析
视频编码·h.265·hevc·h.264·视频压缩·流媒体技术·带宽优化
the3clipse1 天前
H.265/HEVC、HEIF、HEIC 关系详解:为什么 HEIC 比 JPEG 更省空间?一文讲清容器、编码与文件后缀
视频编码·h.265·hevc·图片压缩·jpeg·heif·图像容器
the3clipse2 天前
Windows 10 与 Windows 11 视频编解码区别:AV1、HEVC、HDR 与 D3D12 编码支持对比
windows·h.265·hevc·hdr·av1·视频解码·d3d12
the3clipse2 天前
MacOS、Linux 与 Windows 视频编解码对比:AV1、HEVC、ProRes 与硬件加速优劣势
linux·windows·macos·hevc·av1·视频解码·硬件解码
the3clipse3 天前
视频编码技术如何赋能游戏性能优化:从硬件隔离到AI驱动的带宽革命
游戏·性能优化·音视频·视频编码·硬件加速·ai编码·自适应编码
the3clipse3 天前
Windows 11 对 VVC 与 AV1 编码支持全景解析:硬件、软件与开发者指南
windows·视频编解码·av1·vvc·h.266·硬件加速·视频扩展
the3clipse4 天前
AI 视界双雄会:DLSS 5 与“小黄鸭”(LSFG)在游戏与视频领域的跨界博弈与前景展望
视频编码·神经渲染·dlss5·lsfg·losslessscaling·帧生成技术·ai画质增强
the3clipse4 天前
AV1编码普及之后:你的显卡和播放器跟上了吗?
显卡·流媒体·av1·视频播放器·视频压缩·硬件解码·dav1d
花椒技术5 天前
2.46 秒生成 5 秒视频:拆解 H3 Max 的模型、推理栈与硬件协同
算法·音视频开发·视频编码
音视频牛哥1 个月前
从移动终端到行业视频前端:SmartGBD 如何让 Android 与 HarmonyOS NEXT 接入 GB28181
音视频开发·视频编码·直播