《一种超分辨率重建方法和相关装置》专利解析

这篇专利(WO2021233008A1,申请人:腾讯)主要涉及基于人工智能的视频超分辨率重建技术 。与上一篇侧重于"端侧模型结构轻量化"的专利不同,这篇专利的核心痛点在于:传统的端到端AI超分模型在面对线上真实的复杂场景(如视频压缩伪影、不同内容类型)时,泛化能力差、画质不够理想。

为此,该专利提出了一套 "AI模型初步重建 + 基于掩膜的精细化后处理" 的组合方案,并设计了一套高度模拟真实线上退化场景的模型训练方法。

以下是该专利方法过程的详细解析,分为推理阶段(实际应用) 和训练阶段(模型学习) 两部分:


一、 推理阶段:视频超分重建过程(S201 - S205)

在实际播放视频时,系统通过以下五个步骤将低清视频转化为高清视频:

步骤 S201:获取低分辨率视频帧序列

获取需要处理的第一分辨率(低分辨率)的待处理视频帧序列。

步骤 S202:AI模型初步超分重建

将低分辨率视频帧输入到分辨率重建模型 (如基于EDSR和DRCN改进的轻量级网络)中,进行初步的超分辨率重建,得到第二分辨率的初始重建视频帧(SR图像)。

  • 注:此时得到的SR图像虽然分辨率提高了,但可能还存在模糊、噪声或不符合特定场景视觉习惯的问题。
步骤 S203:残差分离确定"轮廓区域"与"平坦区域"(核心创新)

为了进行精细化的后处理,系统通过残差分离技术生成掩膜(Mask),将图像划分为需要增强的"轮廓区域"和需要去噪的"平坦区域"。具体过程如下:

  1. 生成混合残差:将 AI输出的SR图像 减去 传统双三次插值(Bicubic)放大的图像,得到混合残差。
  2. 生成高通残差:将 Bicubic放大图像 减去 经过高斯低通滤波(模糊)的图像,得到高通残差。
  3. 计算掩膜 :将上述两个残差相乘 。结果大于0的赋为1,得到高频掩膜 (代表轮廓/纹理区域);小于0的赋为1,得到低频掩膜(代表平坦/无纹理区域)。
步骤 S204:差异化后处理(轮廓增强 + 平坦去噪)

根据上一步得到的掩膜,对初始SR图像进行"因地制宜"的后处理,得到最终的目标重建视频帧:

  • 对轮廓区域(高频) :乘以轮廓增强系数 α\alphaα 。
    • 场景自适应 :如果是动画/游戏视频(线条简单),α>1\alpha > 1α>1(增强锐度);如果是真人影视(过度锐化会显得突兀),α≤1\alpha \le 1α≤1(保持自然)。
  • 对平坦区域(低频) :乘以去噪系数 β\betaβ(如0.21),以抑制平坦区域(如天空、湖面)的噪声。
  • 最终融合:将处理后的轮廓、处理后的平坦区域,与Bicubic基底图像相加,输出最终高清画面。
步骤 S205:生成并播放高清视频序列

将处理后的目标视频帧按顺序组合,替换原低清视频帧进行播放。


二、 训练阶段:模型训练与数据集构造过程(S601 - S605)

为了让AI模型在"线上真实场景"中表现更好,该专利在训练数据构造上做了极具针对性的设计:

步骤 S601 - S602:模拟真实的"低清退化"过程(构造LR样本)

线上视频的低清不仅仅是因为分辨率低,还因为视频压缩带来的伪影和噪声。

  • 系统对4K等高清原始视频进行双三次插值降采样。
  • 同时,使用不同的固定码率系数(CRF,如20~35之间随机) 进行视频压缩处理,模拟线上真实的压缩失真和块效应。
  • 抽帧后得到低分辨率(LR)样本集。
步骤 S603:模拟真实的"模糊退化"过程(构造HR标签)

由于真实的退化过程中"降采样"和"图像模糊"的先后顺序很难确认,为了方便训练,专利采用了一种巧妙的替代方案:

  • 不对LR样本做模糊处理,而是对原始的高清视频帧进行"轮廓增强处理"(如使用PS智能锐化)。
  • 这样相当于让模型在训练时,直接学习如何"无中生有"地恢复出更丰富的高频细节,赋予了模型轮廓增强的能力。由此得到高分辨率(HR)样本集。
步骤 S604:剔除平坦区域,聚焦高频细节(构造训练集)

模型训练时,如果包含大量没有纹理的区域(如蓝天、纯色墙面),会浪费算力且干扰模型学习。

  • 系统对HR图像求边缘算子图(如Sobel/Laplacian算子)。
  • 设定阈值,将像素值极低的区域判定为平坦区域。
  • 在裁剪训练Patch(如64x64)时,直接剔除包含平坦区域的图像块,只保留纹理细节丰富的部分用于训练,大幅提升模型对高频细节的学习效率。
步骤 S605:模型迭代训练

使用上述构造的"硬核"训练集,采用L1损失函数对初始模型进行训练,最终得到泛化能力极强的分辨率重建模型。


三、 专利技术优势总结

  1. 解决"AI味"与泛化差的问题 :
    传统的AI超分往往"一刀切",导致真人视频看起来有噪点或过于锐利。该专利通过残差分离掩膜,实现了**"该锐化的地方锐化(轮廓),该去噪的地方去噪(平坦)"**,并且可以根据视频类型(动漫vs真人)动态调整系数,画质更符合人眼主观感受。
  2. 极度贴近线上真实业务场景 :
    在训练数据中引入了视频压缩编码噪声(CRF) ,并在标签端使用PS锐化来补偿模糊退化,使得模型在实验室训练时就能"见多识广",直接部署到线上长视频/短视频APP中时,面对各种压缩伪影都能有极好的鲁棒性。
  3. 训练效率更高 :
    通过算子图剔除无纹理的平坦区域,让神经网络把宝贵的算力全部集中在"如何恢复复杂纹理"上,加快了模型收敛,提升了超分效果。
相关推荐
米小虾22 分钟前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界39 分钟前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0681 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌1 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术1 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)2 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
甲维斯3 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能
艾莉丝努力练剑3 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
螺丝钉tina4 小时前
[Playwright] [20][AI] 失败分析:让AI大模型帮你debug
人工智能