该系列是对 Domain Generalization 的学习记录，主要学习材料是: https://link.springer.com/article/10.1007/s10462-024-10922-z 以及 https://ieeexplore.ieee.org/document/9782500
背景和挑战
虽然深度学习模型在特定任务中取得了显著成果，但开发能够跨任务和领域进行泛化的模型仍然是一个挑战。表 1 中对所讨论的学习范式进行比较。
深度学习模型在如图片识别、文本语义分析等特定任务上展现出了出色的性能。然而，当面临不同任务或领域的数据时，其泛化能力存在不足。在实际应用中，数据的获取条件常常发生变化，例如传感器类型、光照条件或环境因素的改变，这导致模型在遇到新领域的数据时性能大幅下降，无法有效处理分布外（out-of-distribution, OOD）的数据。
概念区分
为应对这一挑战，多种学习范式应运而生，各有其特点：
- 增量学习（Incremental Learning）：随着时间推移，逐步在新数据上训练模型，数据常以批次形式输入，模型也随之增量更新。但它可能会遭受 "灾难性遗忘"，即先前学习的概念在更新过程中丢失，并且需要精心设计训练数据以避免偏差，同时要处理数据的非平稳性问题。
- 在线学习（Online Learning）：按顺序逐个样本或小批量地在新数据上训练模型，每次新样本 / 小批量到达时更新模型。其目标是高效更新以适应新数据，但不明确保留旧知识。
- 持续学习（Continual Learning）：模型具备从数据流中持续学习新任务的能力，关键在于在学习新任务的同时不遗忘先前知识，并处理随时间变化的数据分布，需有效整合新旧知识。
- 迁移学习（Transfer Learning）：将在一个任务上预训练的模型重新用于相关的新任务，借助源任务的知识提升新任务的建模效率，实现知识在不同任务间的迁移。
- 多任务学习（Multi-task Learning）：同时学习多个任务，通过优化多个损失函数，利用共享表示提升任务特定模型的学习效率和预测准确性。
- 元学习（Meta-Learning）：学习如何学习，通过利用先前任务的知识，训练模型以少量数据快速学习新任务，重点在于学习模型参数的良好初始化，使其能在少量样本情况下快速适应新任务。
- 领域适应（Domain Adaptation）：致力于将模型从一个源领域调整，使其在相关的目标领域中表现良好，假设源域和目标域之间存在一定相似性或重叠，利用源域的标记数据和目标域的未标记 / 有限标记数据进行训练，与迁移学习密切相关，旨在将知识从源域转移到目标域。
- 领域泛化（Domain Generalization）：更进一步，在多个源领域上训练模型，目标是使其在任何未见过的新目标领域上都能良好运行，训练时不假设能访问目标域数据，通过学习跨域的不变因素表示来应对不同和未知领域的挑战。
领域泛化（Domain Generalization）的代表工作
Deeper, Broader and Artier Domain Generalization (ICCV 2017)
论文"Deeper, Broader and Artier Domain Generalization"提出了一种新的域泛化（DG）方法和基准数据集，旨在解决多域学习中模型在未见过目标域上的泛化问题，特别是在目标域数据稀疏且具有独特特征的情况下。
任务背景（图像检测）
-
域泛化的重要性与现有问题：在计算机视觉等领域，学习能够跨越训练 - 测试域差异的模型是一个重要问题。DG旨在从多个源域中学习通用知识，以应用于未知目标域，但现有DG方法评估所用基准数据集多基于照片，域差异和数据稀疏性挑战小，且简单深度学习基线在其上表现良好。
-
下图为通过 KL 距离的可视化，说明提出的数据 domain 之间的稀疏性更大:
研究方法
- 低秩参数化CNN模型
- 基于Undo - Bias思想扩展 ：通过函数 g ( z ( i ) ∣ T h e t a ) g(z^{(i)}|Theta) g(z(i)∣Theta) 参数化模型参数， z ( i ) z^{(i)} z(i) 为域编码向量，将 Undo - Bias 思想延伸到神经网络，目标函数根据此定义，通过多线性模型生成每层权重，实现域知识共享，对未见过域用独热编码合成域无关CNN。
- 低秩参数化改进 ：为解决参数增长和共享结构固定问题，基于Tucker分解对权重张量 W \mathcal{W} W施加约束，合成低秩形式，减少参数数量，通过 U M U_{M} UM实现更灵活共享结构，自动估计域间关系和每层共享强度。
- 推理与学习：预测时合成具体CNN进行分类，因模型无不可微函数，可用反向传播学习参数，通过特定策略用重建误差阈值确定Tucker秩超参数。
- 新基准数据集PACS：整合多个数据源构建，含照片、艺术绘画、卡通、素描4个域和7个常见类别共9991张图像，比现有基准数据集域间差异大、更具挑战性，通过特征空间分析（KLD测量）和分类器性能分析（比较域内学习和跨域基线准确率差距）验证。
实验验证
- 在VLCS和PACS数据集上评估：与多种方法对比，包括基线方法（SVM、1HNN等）和现有DG方法（Undo - Bias、uDICA等）及模型变体（Ours - MLP、Ours - Full）。在VLCS数据集上，浅层特征实验中Ours - MLP优于Undo - Bias；深度学习实验中多数DG方法在固定特征上改进了SVM，Deep - All基线表现好，Ours - Full略优于Deep - All。在PACS数据集上，Ours - Full结合CNN架构鲁棒性和DG机制表现最佳，消融实验证明模型各组件贡献。
研究贡献
- 揭示现有方法和数据集不足：现有DG方法在简单基准上表现不如深度学习基线，数据集域差异小，凸显构建新方法和数据集的必要性。
- 提供新基准数据集：PACS数据集更具挑战性和实际相关性，推动DG领域研究。
- 提出新DG方法：基于低秩参数化CNN模型在实验中表现良好，为DG研究提供新方向。