一、引言
图像超分辨率（Super-Resolution, SR）是计算机视觉领域的经典任务，目标是从低分辨率（LR）图像中恢复出高分辨率（HR）图像，重建丢失的高频细节。传统插值方法（如双三次插值）虽然计算简单，但容易产生模糊和锯齿伪影。基于深度学习的超分方法在合成数据集上取得了显著进展，然而真实世界中的图像退化往往包含模糊、噪声、压缩伪影等多种因素的复合作用，模型在真实场景下的泛化能力仍然有限。
Real-ESRGAN由腾讯ARC Lab于2021年提出，是面向真实场景的盲超分辨率算法。它在ESRGAN的基础上引入了高阶退化模型（High-order Degradation Model）和U-Net结构判别器，大幅提升了对真实世界退化图像的恢复效果，在老照片修复、视频增强、安防监控等领域得到了广泛应用。本文将系统介绍Real-ESRGAN的算法原理与典型应用场景，并重点讲解如何在土星云SE110S系列NPU上完成模型转换与高效推理部署。
二、Real-ESRGAN算法原理
2.1 从ESRGAN到Real-ESRGAN
ESRGAN（Enhanced Super-Resolution Generative Adversarial Network）是SRGAN的改进版本，其核心贡献包括：引入RRDB（Residual-in-Residual Dense Block）残差密集块替代原始残差块，增强网络的特征表达能力；使用相对平均判别器（RaD）替代标准判别器，使生成器专注于学习更锐利的纹理；移除BN层以避免伪影并提升泛化性能。ESRGAN在PSNR和感知质量之间取得了良好平衡，成为超分领域的经典基线。
然而，ESRGAN的训练数据采用简单的一阶退化合成（即单一模糊核+下采样+加性噪声），与真实图像的复杂退化过程存在较大域差距。当面对经过多次压缩、传输、缩放的真实图像时，ESRGAN的恢复效果明显下降。Real-ESRGAN正是为解决这一问题而设计。
2.2 高阶退化模型
Real-ESRGAN最核心的创新是提出了高阶退化模型。传统一阶退化可以表示为：LR图像 = 模糊核卷积HR图像 → 下采样 → 加噪声 → JPEG压缩。而真实世界中的图像往往经历了多次退化过程，例如一张照片可能经过拍摄模糊→缩放→社交平台压缩→再次截图保存等多轮操作。
为模拟这种复合退化，Real-ESRGAN将多个一阶退化过程串联起来，形成二阶甚至更高阶的退化链。每一阶都包含随机模糊（各向同性/各向异性高斯模糊、运动模糊等）、随机下采样（最近邻、双线性、双三次等）、随机噪声（高斯噪声、泊松噪声）和JPEG压缩。通过高阶退化合成的训练数据更贴近真实分布，使模型学会处理更复杂的退化模式。实验表明，二阶退化在大多数真实场景下已能取得良好效果，更高阶的退化带来的增益有限。
2.3 U-Net判别器与光谱归一化
在判别器设计上，Real-ESRGAN采用U-Net结构替代传统的PatchGAN判别器。U-Net判别器通过编码器-解码器架构提取多尺度特征，并在不同分辨率层级上输出真假判断，能够为生成器提供更丰富的梯度信号。同时，U-Net的跳跃连接有助于保留空间细节信息，使判别器更关注局部纹理差异。
此外，Real-ESRGAN在判别器中引入了光谱归一化（Spectral Normalization），通过约束权重矩阵的谱范数来稳定GAN训练过程，防止判别器过强导致生成器梯度消失。这一技巧在复杂的U-Net判别器中尤为重要。
2.4 网络结构与损失函数
生成器网络沿用ESRGAN的RRDB架构，主体由多个RRDB模块堆叠而成，每个RRDB包含三个残差密集块，通过密集连接充分复用特征。上采样部分使用像素重组（PixelShuffle）操作，将低分辨率特征图重排为高分辨率输出，避免了转置卷积常见的棋盘伪影。
损失函数采用多任务组合：L1内容损失保证像素级准确性，感知损失（VGG特征空间距离）提升视觉自然度，GAN损失驱动生成更真实的纹理细节。三者加权平衡，使模型在保真度和感知质量之间取得最优。
三、典型应用场景
3.1 老照片修复与增强
老照片因年代久远、保存不当，常出现模糊、划痕、褪色、颗粒噪声等问题。Real-ESRGAN的高阶退化建模能力使其能够有效应对这类复杂退化，恢复面部细节、衣物纹理和背景清晰度，是数字人文和家庭影像修复的重要工具。
3.2 视频画质增强
对低分辨率视频进行逐帧超分是Real-ESRGAN的重要应用方向。配合时序一致性处理（如光流对齐、时序平滑），可以实现标清到高清、高清到4K的视频画质提升，在流媒体转码、旧片修复等场景中具有商业价值。
3.3 安防监控
监控摄像头受限于带宽和存储，常采用高压缩比编码，画面存在明显的块效应和模糊。超分辨率技术可以在后端对关键帧进行增强，提升人脸识别、车牌识别和行为分析的准确率，降低对前端高分辨率相机的硬件依赖。
3.4 医学影像与工业质检
在CT、MRI等医学影像中，超分辨率可以在不增加扫描时间和辐射剂量的前提下提升图像分辨率，辅助医生发现微小病灶。在工业质检领域，细小划痕、裂纹等缺陷的检测需要高分辨率图像，超分算法可以降低对高成本工业相机的依赖，提升检测系统的性价比。
四、土星云SE110S部署实践
4.1 平台概述
土星云SE110S系列是面向边缘AI场景的NPU计算产品，基于自研TPU架构设计，具备低功耗、高算力密度的特点。该平台支持INT8、FP16、FP32多种精度推理，提供完整的SDK工具链（包括TPU-MLIR编译器和BMRT运行时），支持Python和C++两种开发接口，非常适合在边缘端部署图像超分辨率等计算机视觉任务。
4.2 模型转换流程
部署Real-ESRGAN的第一步是将PyTorch训练好的模型转换为TPU可执行的BModel格式，整个流程分为ONNX导出和TPU-MLIR编译两个阶段。
第一步，从PyTorch导出ONNX模型。以realesr-general-x4v3轻量级模型为例，导出时需注意设置动态输入尺寸以支持不同分辨率的输入图像：
|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| import torch from realesrgan import RealESRGANer # 加载模型 model = RealESRGANer(...) # 导出ONNX，设置动态batch和尺寸 dummy_input = torch.randn(1, 3, 256, 256) torch.onnx.export( model, dummy_input, "realesr.onnx", input_names="input", output_names="output", dynamic_axes={"input": {0: "batch", 2: "h", 3: "w"}, "output": {0: "batch", 2: "h", 3: "w"}} ) |
第二步，使用TPU-MLIR将ONNX编译为BModel。TPU-MLIR支持三种精度编译：FP32保持原始精度，FP16在保持精度的同时提升速度，INT8通过量化进一步加速。INT8量化需要准备校准数据集（建议使用100~200张代表性图像），通过KL散度或最大化最小值方法确定量化参数。编译命令示例如下：
|---------------------------------------------------------------------------------------------------------------------------------------------------------|
| # FP32 编译 ./scripts/gen_fp32bmodel_mlir.sh bm1688 # FP16 编译 ./scripts/gen_fp16bmodel_mlir.sh bm1688 # INT8 量化编译 ./scripts/gen_int8bmodel_mlir.sh bm1688 |
编译完成后，在models目录下会生成对应精度的.bmodel文件，可直接加载到SE110S上运行。
4.3 推理实现
SE110S提供Python和C++两套推理接口。Python接口基于sophon-sail库，开发便捷，适合快速验证和原型开发；C++接口基于BMRT运行时，性能更优，适合生产环境部署。
推理流程包括：图像解码→预处理→模型推理→后处理→结果保存。预处理阶段需要完成resize、归一化和BGR到RGB的通道转换。推荐使用BMCV硬件加速模块完成预处理，可将预处理时间从CPU上的约25ms降至1ms以内，显著降低端到端延迟。后处理包括反归一化、像素值裁剪（0~255）和图像格式转换。
Python推理核心代码示例：
|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| import sophon.sail as sail # 加载BModel engine = sail.Engine("real_esrgan_int8_1b.bmodel", 0, sail.IOMode.SYSO) graph_name = engine.get_graph_names()0 # 预处理（BMCV加速） input_tensor = preprocess_with_bmcv(image) # 推理 engine.process(graph_name, input_tensor) output = engine.get_output_tensor(graph_name, "output") # 后处理并保存 result = postprocess(output.asnumpy()) |
4.4 性能测试与优化
在土星云SE110S上对realesr-general-x4v3（4倍超分）模型进行性能测试，输入尺寸256×256，输出1024×1024。使用bmrt_test测试的理论推理性能如下表所示：
|----------|----------------|---------------|
| 模型精度 | Batch Size | 推理时间 (ms) |
| FP32 | 1 | ~3730 |
| FP16 | 1 | ~438 |
| INT8 | 1 | ~116 |
| INT8 | 4 | ~115 (单张均摊) |
从测试结果可以看出：INT8量化相比FP16推理速度提升约3.8倍，相比FP32提升超过30倍，而视觉质量损失极小；多batch推理在4batch下单张均摊时间与单batch基本持平，说明硬件计算单元已充分利用。结合BMCV硬件预处理，端到端处理一张256×256输入图像的总延迟可控制在180ms以内，能够满足多数边缘场景的实时性需求。
进一步优化方向包括：使用多core并行推理（SE110S支持双核模式，4batch双核推理可将单张均摊时间降至约65ms）；对大尺寸图像采用分块推理（Tile）策略，降低峰值内存占用；以及将超分模型与其他视觉任务（如检测、识别）流水线化，提升整体吞吐量。
五、总结
Real-ESRGAN通过高阶退化模型和U-Net判别器，有效缩小了合成训练数据与真实场景退化之间的域差距，在真实世界图像超分辨率任务上表现出色，已成为图像增强领域的主流方案之一。土星云SE110S系列TPU为该算法提供了高效的边缘部署平台，INT8量化结合BMCV硬件加速的方案能够在低功耗条件下实现近实时推理，适用于老照片修复、视频增强、安防监控、工业质检等多种边缘AI视觉场景。随着边缘算力的不断提升和模型压缩技术的持续进步，超分辨率算法将在更多端侧应用中发挥价值。