[迁移学习]领域泛化

一、概念

相较于领域适应 ,领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

领域泛化的损失函数一般可以描述为以下形式:

该式分为三项:第一项表示各训练集权重 的线性组合,其中π为使该项最小的系数;第二项表示域间距离 ,其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离;第三项表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

1.数据操作(Data manipulation)

该方法体现在对数据集的操作,主要分为数据增强 (Data augmentation)和数据生成(Data generation)

其中数据增强 主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强 和对抗数据增强。

数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

2.学习表征(Representation learning)

该方法可以表征为:

通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

①Kernel-based method :传统方法,主要依赖核投射技巧

②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

③Explicit feature alignment:显式的减少域之间的差异,域对齐

④Invariant risk minimization:范式方法

⑤Feature disentanglement :解耦,提取出相同类别中共同特征

主要分为两种:1.UndoBias :将权重分为两种(其中为所有域的公共特征,为每个域私有的特征)

2.Generative modeling:使用生成网络进行解耦

3.学习策略(Learning strategy)

①Meta-learning(源学习)

将源域分解为若干个小任务

②Ensemble learning(集成学习)

认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

相关推荐
拓恒技术8 分钟前
无人机巡检AI算法的工程化落地:从需求到交付的5个核心环节
人工智能·算法·无人机
罗西的思考2 小时前
AI 时代的 “房谋杜断”:如何培养能力、品味与判断力
人工智能·算法·机器学习
字节跳动视频云技术团队3 小时前
720P 直升 8K,解密 2026 抖音美好奇妙夜巨幕超分黑科技
人工智能·音视频开发
打工仔折腾 AI3 小时前
在 Ubuntu ARM64 部署 Q1 V3.0 MuJoCo 模型:加载、单步推理与执行器响应解析
linux·运维·人工智能·python·深度学习·ubuntu·性能优化
逐米时代3 小时前
从试点验证到协同深化:制造业AI转型三年路线图设计方法
人工智能
GlobalInfo4 小时前
全球及中国风电叶片检测机器人行业研究报告(2026版):市场现状、行业前景与占有率分析
运维·网络·人工智能·机器人
stormzhangV4 小时前
AI 越强,失业越严重
人工智能·aigc
夏文强5 小时前
Rerank 与混合检索:怎么让 RAG 从「能用」变成「好用」
人工智能·大模型·向量数据库·rag·检索增强生成
救救孩子把5 小时前
AI面试八股文-23_23-Agent可观测性与生产监控面试题
人工智能·面试·职场和发展·agent·langsmith·langfuase
IT_陈寒5 小时前
Java静态变量初始化坑得我头皮发麻
前端·人工智能·后端