[迁移学习]领域泛化

一、概念

相较于领域适应 ,领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

领域泛化的损失函数一般可以描述为以下形式:

该式分为三项:第一项表示各训练集权重 的线性组合,其中π为使该项最小的系数;第二项表示域间距离 ,其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离;第三项表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

1.数据操作(Data manipulation)

该方法体现在对数据集的操作,主要分为数据增强 (Data augmentation)和数据生成(Data generation)

其中数据增强 主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强 和对抗数据增强。

数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

2.学习表征(Representation learning)

该方法可以表征为:

通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

①Kernel-based method :传统方法,主要依赖核投射技巧

②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

③Explicit feature alignment:显式的减少域之间的差异,域对齐

④Invariant risk minimization:范式方法

⑤Feature disentanglement :解耦,提取出相同类别中共同特征

主要分为两种:1.UndoBias :将权重分为两种(其中为所有域的公共特征,为每个域私有的特征)

2.Generative modeling:使用生成网络进行解耦

3.学习策略(Learning strategy)

①Meta-learning(源学习)

将源域分解为若干个小任务

②Ensemble learning(集成学习)

认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

相关推荐
Latchh5 分钟前
前端导出的JPEG红字发糊,质量要拉到100才清楚
前端·图像处理·人工智能·计算机视觉
思考着亮8 分钟前
2.skill
人工智能
code_slave(码畜)11 分钟前
微服务架构落地:基础服务 —— 报表服务(AI 集成篇:AI 增强报表能力)
人工智能·spring boot·spring cloud·微服务·架构
码上观世界12 分钟前
Paseo 是如何统一管理 Claude Code 和 Codex 的?
人工智能·codex
长弓三石12 分钟前
把 AgentScope Harness 装进 RuoYi-Vue-Plus:纯 Java AI 平台的集成实践
java·人工智能·agent
思考着亮14 分钟前
3.什么是Harness Engineering?什么又是Loop Engineering?
人工智能
蜗牛互联网14 分钟前
MongoDB Atlas Agent Engine之后,如何用版本门禁防止陈旧写入
java·数据库·人工智能·后端·mongodb
长弓三石15 分钟前
企业级智能体的权限到底怎么落地?以 BizBuddy 为例
java·人工智能·agent
慢云智慧空间16 分钟前
从智能终端到空间AI,慢云科技如何重新定义智慧建筑的核心能力?
人工智能·python·科技
合调于形17 分钟前
Jusshen zhzzneng《具身智能》词条汉语拼音字母标调拼写实测案例
人工智能·自然语言处理·人机交互·语音识别·学习方法