【第二十六周】机器学习笔记二十七

摘要

本周学习了Domain Adaptation的相关知识点，旨在解决模型在训练领域与测试领域数据分布不同时性能下降的问题。其核心思想是通过对齐源领域和目标领域的特征分布，并利用源领域知识辅助目标领域的学习，从而提升模型在目标数据上的泛化能力。

Abstract

This week's study focused on Domain Adaptation, which aims to address the performance degradation of models when the training domain and testing domain have different data distributions. Its fundamental approach is to align the feature distributions between the source and target domains, leveraging knowledge from the source domain to support learning in the target domain, thereby enhancing the model's generalization capability on target data.

什么是领域自适应

在机器学习中，我们通常假设训练集与测试集来自同一数据分布。然而在实际应用中，测试数据往往来自与训练数据不同的分布，即处于另一个领域（domain）。这种情况下，由于训练数据未能覆盖测试数据的分布，模型在测试数据上的性能通常会显著下降。

领域自适应旨在通过使模型能够从一个领域（源领域）适应到另一个领域（目标领域），从而提升模型在目标领域上的表现。其核心目标是缓解因领域间分布差异而引起的"数据偏移"问题。

领域自适应的基本思想

领域自适应的基本思路是通过学习源领域与目标领域之间的差异，实现模型从源领域向目标领域的迁移。通常，该过程可分为两个阶段：特征变换与模型训练。

• 特征变换阶段：学习一个从源领域到目标领域的特征变换函数，将源领域数据映射到目标领域的特征空间中。目的是通过特征对齐来缩小领域间的分布差异，从而提升模型的泛化能力。

• 模型训练阶段：利用变换后的特征数据训练模型。通常以源领域上训练好的模型作为初始模型，并在目标领域数据上进行微调，以进一步提高模型在目标领域上的适应性与性能。

领域自适应的常用方法

领域自适应是一个研究活跃的领域，目前已提出多种方法与算法。以下介绍几种常用的方法：

• 最大均值差异（Maximum Mean Discrepancy, MMD）

  MMD 通过比较源领域与目标领域在某个再生核希尔伯特空间中的均值差异，并试图缩小该差异，从而减少领域间的分布偏移，提升模型泛化性能。

• 领域自适应支持向量机（Domain Adaptation SVM）

  该方法在源领域和目标领域之间共享同一个 SVM 模型，并借助特征变换将源领域数据映射到目标领域特征空间，随后在目标领域上对模型进行微调，以缓解领域差异带来的影响。

• 深度领域自适应（Deep Domain Adaptation）

  深度领域自适应是当前研究的热点之一，其核心思想是构建一个共享的深度神经网络，通过特征变换与模型微调实现跨领域迁移。一般流程包括：

  1. 特征提取：使用预训练深度网络提取源领域与目标领域的特征表示。

  2. 特征变换：学习特征变换函数，将源领域特征对齐到目标领域特征空间。

  3. 模型微调：基于目标领域数据对网络进行微调，以优化其在目标领域上的性能。

  常见的深度领域自适应方法有：

  • 深度领域自适应网络（Deep Domain Adaptation Network, DDAN）：通过共享深层网络并结合特征变换函数实现跨领域迁移。

  • 深度领域自适应卷积神经网络（DDACNN）：利用 CNN 提取特征，并在特征空间中进行领域对齐。

  • 深度领域自适应生成对抗网络（DDAGAN）：借助生成对抗网络学习领域间的映射关系，并通过对抗训练提升模型在目标领域的泛化能力。

  •