迁移学习

金仓数据库引领国产化替代新范式：构建高效、安全的文档型数据库迁移解决方案目录一、为何企业正在加速推进“文档型数据库迁移替换”？二、痛点剖析：传统文档型数据库架构面临哪些现实挑战？

迁移学习：AI时代的智慧复用术迁移学习（Transfer Learning）是机器学习的一个重要分支，核心思想是将源领域（Source Domain）学到的知识迁移到目标领域（Target Domain），以解决目标领域数据不足、训练成本高或任务相似但分布不同等问题。它打破了传统机器学习“每个任务独立训练”的局限，通过复用已有知识提升新任务的效率和性能。

土壤光谱建模需立足全局，通过迁移学习适配局部（Earth-Science Reviews，2024）DOI： https://doi.org/10.1016/j.earscirev.2024.104797

迁移学习的第二类方法：特征选择Hi，大家好，我是半亩花海。在上节说明了迁移学习的第一类方法：数据分布自适应之后，本文主要将介绍迁移学习的第二类方法——特征选择。该方法基于源域和目标域存在共享特征的假设，通过机器学习选择这些公共特征来构建模型。重点讲解了经典SCL方法及其核心概念Pivot feature（跨领域高频词），并列举了后续扩展研究如联合特征选择与子空间学习等方法。特征选择法通常与分布自适应方法结合，采用稀疏表示实现特征选择，为迁移学习提供了重要技术路径。

联邦迁移学习实战：在数据孤岛中构建个性化推荐模型摘要：本文深度解析联邦迁移学习（FedTransfer）在跨机构数据协作中的工程化落地。通过个性化联邦平均算法（pFedMe）与差分隐私的融合设计，在保护用户隐私前提下，实现CTR建模AUC提升0.082，冷启动用户覆盖率提升3.7倍。提供完整的PyTorch联邦训练框架与TensorFlow Privacy隐私保护代码，支持医疗、金融、电商三场景复用，已在某省卫健委联合医院联盟部署，日均处理 federated learning 任务12万次。

迁移学习的第一类方法：数据分布自适应(3)——联合分布自适应Hi，大家好，我是半亩花海。在上节说明了迁移学习领域的条件分布自适应之后，本文主要将介绍迁移学习的第一类方法——数据分布自适应，重点阐述了联合分布自适应(JDA)的原理与应用。该方法通过同时减小源域和目标域的边缘分布和条件分布差异来实现迁移。JDA的核心思路是利用最大均值差异(MMD)距离来对齐两个域的分布，其中条件分布通过伪标签进行近似估计。另外，该方法采用迭代优化策略，逐步改进伪标签质量。

了解 PyTorch 学习率调整和迁移学习学习率是深度学习模型训练中的关键超参数。较大的学习率能使模型快速收敛，但也可能导致震荡或不收敛；较小的学习率虽然稳定，但收敛速度慢。在实际训练中，我们通常希望在训练初期使用较大学习率加速收敛，在训练后期使用较小学习率精细调优。

迁移学习示例和数据增强（吴恩达深度学习笔记）目录1.迁移学习示例：猫检测器2.数据增强（1）前言（2）数据增强的方法假如你要建立一个猫咪检测器，用来检测你自己的宠物猫（pet cat）。假如你的两只猫叫Tigger和Misty，那检测结果有三种：Tigger，Misty或者两者都不是，所以是一个三分类问题。现在你可能没有Tigger或者Misty的大量的图片，所以你的训练集会很小，你该怎么办呢？

其美杰布-富贵-李

迁移学习与对抗迁移学习核心问题：传统监督学习假设训练数据和测试数据服从相同的分布（i.i.d. 假设）现实挑战：定义：利用在**源域（Source Domain）上学到的知识，帮助解决目标域（Target Domain）**上的问题。

【读点论文】Few-Shot Object Detection A Comprehensive Survey元学习和迁移学习在过去的十年中，对象检测通过深度学习得到了巨大的改进。然而，基于深度学习的方法通常需要大量的训练数据。因此，很难将它们应用于涉及常见对象检测数据集中不存在的新对象的现实场景。注释大量图像以进行对象检测既昂贵又烦人。在某些情况下，例如医学应用或稀有物种的检测，甚至不可能获取大量图像。此外，与典型的基于深度学习的方法相比，人类即使在很小的时候就能够用很少的数据学习新概念。当孩子们看到新的物体时，即使他们只见过一次或几次，他们也能够识别这些物体。

基于PyTorch的深度学习——迁移学习3提高模型的泛化能力最重要的3大因素是数据、模型和损失函数，其中数据又是3个因素中最重要的因素。但数据的获取往往不充分或成本比较高。那是否有其他方法，可以快速又便捷地增加数据量呢？在一些领域存在，如图像识别、语言识别等，可以通过水平或垂直翻转图像、裁剪、色彩变换、扩展和旋转等数据增强技术来增加数据量，被证明是非常有效地。

基于PyTorch的深度学习——迁移学习4微调 = 在预训练模型的基础上，继续训练（更新）部分或全部原有参数 + 新加的层，以适应新任务。此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大的改变。

基于PyTorch的深度学习——迁移学习2现在将迁移学习的特征提取应用于CIFAR-10加载数据接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）

这张生成的图像能检测吗

（论文速读）基于迁移学习的大型复杂结构冲击监测论文题目：Impact Monitoring of Large and Complex Structures Based on Transfer Learning（基于迁移学习的大型复杂结构冲击监测）

迁移学习的第一类方法：数据分布自适应(1)——边缘分布自适应Hi，大家好，我是半亩花海。在上节说明了迁移学习领域的基本方法（基于样本、特征、模型、关系的迁移）之后，本文主要将介绍迁移学习的第一类方法——数据分布自适应，重点阐述了边缘分布自适应的原理与应用。该方法通过缩小源域和目标域边缘概率分布的距离实现迁移，核心思想是利用特征映射使两域数据分布接近。文章详细讲解了迁移成分分析(TCA)方法，包括其基于最大均值差异(MMD)的距离度量、核矩阵变换以及优化目标，并通过可视化对比展示了TCA在数据分布对齐上的优势。该方法为处理不同分布数据提供了有效解决方案。

迁移学习的基本方法——基于样本、特征、模型、关系的迁移Hi，大家好，我是半亩花海。在上节说明了迁移学习领域的其他度量准则（KL散度与JS距离、MMD、PA、A-distance、HSIC）之后，本文主要将介绍迁移学习的四种基本方法——基于样本迁移、基于特征迁移、基于模型迁移、基于关系迁移。其中，基于样本迁移通过调整源域样本权重实现迁移；基于特征迁移通过特征变换减少域间差异，是目前研究热点；基于模型迁移寻找共享参数，多与深度神经网络结合；基于关系迁移关注样本间关系，但相关研究较少。文章重点分析了基于特征和模型的方法，指出它们是目前迁移学习领域的主要研究方向。

ResNet18 迁移学习实战：CIFAR-10 图像分类与 CPU 优化深度学习的发展历程中，网络深度一直是提升模型性能的关键因素。然而，传统深层网络面临着梯度消失 / 爆炸和退化问题，限制了网络深度的进一步增加。2016 年，何恺明团队提出的ResNet（残差网络）通过引入残差连接，成功解决了深层网络的训练难题，在 ImageNet 比赛中取得了突破性成果。

AlexNet 迁移学习实战：CIFAR-10 图像分类实验2012 年，AlexNet 在 ImageNet 图像分类比赛中以显著优势夺冠，开启了深度学习在计算机视觉领域的黄金时代。AlexNet 通过更深的网络结构、ReLU 激活函数、Dropout 正则化等创新，大幅提升了图像分类精度，成为卷积神经网络（CNN）发展史上的里程碑。

VGG16 迁移学习实战：CIFAR-10 图像分类优化方案VGGNet 是 2014 年 ILSVRC 比赛的亚军模型，以其简洁的设计理念（小卷积核 + 深度堆叠）和强大的特征提取能力，成为深度学习领域的经典模型。本文基于 PyTorch 框架，结合迁移学习和多项优化策略，使用 VGG16 模型对 CIFAR-10 数据集进行分类，在保证训练效率的同时，实现了较高的分类准确率。

吃完香皂不吐泡

【深度学习实战/计算机视觉实战】PyTorch框架下基于ResNet的102种花卉图像分类模型PS：以下代码在 VS Code 的 Jupyter Notebook 中运行，环境为 torch2.5.1 + Python 3.9 + CUDA 11.8。请按顺序依次执行即可。文件夹结构如下：