[迁移学习]领域泛化

一、概念

相较于领域适应领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

领域泛化的损失函数一般可以描述为以下形式:

该式分为三项:第一项表示各训练集权重 的线性组合,其中π为使该项最小的系数;第二项表示域间距离 ,其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离;第三项表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

1.数据操作(Data manipulation)

该方法体现在对数据集的操作,主要分为数据增强 (Data augmentation)和数据生成(Data generation)

其中数据增强 主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强对抗数据增强

数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

2.学习表征(Representation learning)

该方法可以表征为:

通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

①Kernel-based method :传统方法,主要依赖核投射技巧

②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

③Explicit feature alignment:显式的减少域之间的差异,域对齐

④Invariant risk minimization:范式方法

⑤Feature disentanglement :解耦,提取出相同类别中共同特征

主要分为两种:1.UndoBias :将权重分为两种(其中为所有域的公共特征,为每个域私有的特征)

2.Generative modeling:使用生成网络进行解耦

3.学习策略(Learning strategy)

①Meta-learning(源学习)

将源域分解为若干个小任务

②Ensemble learning(集成学习)

认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

相关推荐
. . . . .4 小时前
上下文压缩headroom
人工智能
Summer-Bright4 小时前
深度 | Agent 协议标准化:一场决定了 AI 经济底层规则的基础设施战争
java·数据库·人工智能·ai
laboratory agent开发4 小时前
AI Agent上线前,数据边界和集成接口为什么常被低估
人工智能
阿里云大数据AI技术4 小时前
阿里云 EMR Serverless Spark 全托管 Ray 再进化:加速构建全模态数据处理新基建
人工智能·spark
We0 AI4 小时前
AI 生成内容越来越多后,We0ai 官网怎样证明内容来源、更新时间和品牌真实性?
人工智能
rain_sxr4 小时前
别让用户干等:流式对话的中断、重试与多会话并发管理
人工智能
糖果店的幽灵4 小时前
【langgraph 从入门到精通graphApi 篇】流式输出与 Streaming
人工智能·langgraph
科技林总4 小时前
旋转位置编码(RoPE)
人工智能
综合资讯4 小时前
半导体上游ETF的配置标尺
人工智能·科技·物联网·半导体·科创
东方佑5 小时前
BitsFusion + Precision Diffusion — UV 实验报告
人工智能