[迁移学习]领域泛化

一、概念

相较于领域适应领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

领域泛化的损失函数一般可以描述为以下形式:

该式分为三项:第一项表示各训练集权重 的线性组合,其中π为使该项最小的系数;第二项表示域间距离 ,其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离;第三项表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

1.数据操作(Data manipulation)

该方法体现在对数据集的操作,主要分为数据增强 (Data augmentation)和数据生成(Data generation)

其中数据增强 主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强对抗数据增强

数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

2.学习表征(Representation learning)

该方法可以表征为:

通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

①Kernel-based method :传统方法,主要依赖核投射技巧

②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

③Explicit feature alignment:显式的减少域之间的差异,域对齐

④Invariant risk minimization:范式方法

⑤Feature disentanglement :解耦,提取出相同类别中共同特征

主要分为两种:1.UndoBias :将权重分为两种(其中为所有域的公共特征,为每个域私有的特征)

2.Generative modeling:使用生成网络进行解耦

3.学习策略(Learning strategy)

①Meta-learning(源学习)

将源域分解为若干个小任务

②Ensemble learning(集成学习)

认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

相关推荐
板面华仔3 小时前
机器学习入门(三)——决策树(Decision Tree)
人工智能·决策树·机器学习
GAOJ_K3 小时前
滚珠花键的无预压、间隙调整与过盈配合“场景适配型”
人工智能·科技·机器人·自动化·制造
ai_xiaogui3 小时前
【开源探索】Panelai:重新定义AI服务器管理面板,助力团队私有化算力部署与模型运维
人工智能·开源·私有化部署·docker容器化·panelai·ai服务器管理面板·comfyui集群管理
源于花海3 小时前
迁移学习的前沿知识(AI与人类经验结合、传递式、终身、在线、强化、可解释性等)
人工智能·机器学习·迁移学习·迁移学习前沿
机 _ 长3 小时前
YOLO26 改进 | 基于特征蒸馏 | 知识蒸馏 (Response & Feature-based Distillation)
python·深度学习·机器学习
king of code porter4 小时前
百宝箱企业版搭建智能体应用-平台概述
人工智能·大模型·智能体
愚公搬代码4 小时前
【愚公系列】《AI短视频创作一本通》004-AI短视频的准备工作(创作AI短视频的基本流程)
人工智能·音视频
物联网软硬件开发-轨物科技4 小时前
【轨物洞见】告别“被动维修”!预测性运维如何重塑老旧电站的资产价值?
运维·人工智能
电商API_180079052474 小时前
第三方淘宝商品详情 API 全维度调用指南:从技术对接到生产落地
java·大数据·前端·数据库·人工智能·网络爬虫
梁辰兴4 小时前
百亿美元赌注变数,AI军备竞赛迎来转折点?
人工智能·ai·大模型·openai·英伟达·梁辰兴·ai军备竞赛