文章目录
文章题目
Limited-Reference Image Quality Assessment: Paradigms and Discussions
发表年限
2023
期刊/会议名称
MM'23: Proceedings of the 31st ACM International Conference on Multimedia
动机
- 图像质量评估 IQA 指标是比较和改进图像增强算法的关键。但都存在一个共同的问题，也就是参考信息有限。
- 作者称这种类型的 IQA 任务为 l i m i t e d limited limited- r e f e r e n c e reference reference I Q A IQA IQA。
- 在图像 S R SR SR 和重定向任务中，参考图像的大小与 S R SR SR 图像和重定向图像的大小不一致。对于 U I E UIE UIE 和 L L I E LLIE LLIE 任务，它们的参考图像质量明显较低。这些任务的 IQA 都属于具有有限参考信息的场景。然而，在这些增强过程中，参考信息仍然是保证结构一致性不可或缺的。
- 如何利用有限的参考信息来评估退化图像的质量？
- 特定任务的 IQA 模型通常只关注特定 IQA 任务引入的失真。模型泛化能力较差，在实践中缺乏灵活性。
主要思想或方法架构
- 对于传统的图像处理任务，如图像采集、压缩、传输等，都存在未受损的参考图像。
- 因此，可以通过与其参考图像的像素级相似性指数来评估扭曲图像的质量。
- 其中 X X X 代表一个完美的参考图像(标记为 Q ( X ) = 1 Q(X)= 1 Q(X)=1)， Y Y Y 代表一个扭曲退化的图像。 M g M_g Mg 为一般 FR-IQA 模型。 Q g Q_g Qg 为相应的质量分数。
- 然而，对于参考信息有限的场景，上述两个约束无法满足。因此， M g M_g Mg 不能在这种情况下工作。
- 鉴于此，研究人员针对不同的图像增强任务开发了一系列特定任务的 IQA 模型( T a s k Task Task-- S p e c i f i c Specific Specific I Q A IQA IQA M o d e l s Models Models )。
- 其中 Y Y Y 表示扭曲的图像，可以是 S R SR SR 图像、重定位图像、增强的水下图像、增强的低光图像。 M S R M_{SR} MSR 表示特定于 S R SR SR 的 IQA 模型， Q S R Q_{SR} QSR 是相应的质量分数。
- 特定任务的 IQA 模型泛化能力较差，在实践中缺乏灵活性。因此，作者致力于为参考信息有限的场景开发统一的 IQA 模型。可以表示如下：
-
为了构建统一的 IQA 模型，作者将这个具有挑战性的问题分为两个子问题:
- 第一，是否使用参考图像?
- 第二，如何使用参考图像?
-
具体来说，对于图 S R SR SR 和重定向任务，即使它们的信息有限，它们的参考图像也不会受损。因此，从参考图像中提取的信息/特征通常有利于质量评估。
-
然而，对于 U I E UIE UIE 和 L L I E LLIE LLIE 任务，它们的参考图像都有不同程度的受损。在这种情况下，从严重受损的参考图像中提取的信息/特征可能会误导质量评估。
-
对于第一个子问题，公式可以修改为：
- 其中 T ( ⋅ ) T(·) T(⋅) 表示特征映射函数，目的是将参考图像 X X X 映射到一个值。
- θ T θ_T θT表示阈值。
- 如果 T ( X ) T(X) T(X) ≥ ≥ ≥ θ T θ_T θT ， M u M_u Mu 将使用参考图像。否则， M u M_u Mu 将不使用参考图像。
- 对于第二个子问题，公式可以修改为：
- F ( X ) F(X) F(X) 和 F ( Y ) F(Y) F(Y) 分别表示 X X X 和 Y Y Y 的特征表示。理想的统一模型由特征映射函数 T ( ⋅ ) T(·) T(⋅)、特征提取模块 F ( ⋅ ) F(·) F(⋅) 和感知距离计算模块 M u ( ⋅ ) M_u(·) Mu(⋅) 组成。
实验结果
- 与 D I S Q DISQ DISQ 模型相比，作者的 S R SR SR- I Q A IQA IQA 指标具有较低的预测偏差。
- 度量标准和平均意见分数 M O S MOS MOS 之间的细微差距表明作者提出的度量标准在 S R − I Q A SR-IQA SR−IQA 中取得了卓越的表现。
