迁移学习这个东西, 在现代的人工智能以及机器学习这个领域里面, 它是那种既有特别实在的用处、又有特别深的理论含量的核心方法, 它干的事情, 就是把一个已经在源任务上面训练好了的那个模型、从那里头学到的知识、特别是那个能表示特征的能力, 给用到目标任务上去, 这么一搞, 能够大大减少对于需要标注数据的那些目标领域的依赖, 能让模型的收敛速度变快, 能够把泛化能力变得更好一些, 能够解决像小样本、冷启动这种现实中的难题, 还能缓解数据偏差的问题。
这个叫做《Hands-On with 》的压缩包, 里面有一本专业的书, 这本书是完全用英文写的, 它还特别强调实际操作。它系统地建立了一套完整的知识体系, 这套体系是从最基础的相关理论一直延伸到在多模态工业领域里落地应用的全过程。
书中的内容涵盖了好几个重要的方面, 包括机器学习和深度学习的最根本的基础知识, 还有迁移学习这个核心机制是怎么回事, 主流的工具框架是怎么去实现的, 以及在各种不同的领域里具体的应用实践都是什么。对于想要把这一项技术深入掌握的人来说, 这是一份很难得的、可以直接接触到第一手内容的资料。
首先, 书中Ch01" "部分并不是在泛泛而谈传统算法。它真正的重点, 在于探讨迁移学习所需的底层认知重构工作。这部分内容强调了监督学习、半监督学习与无监督学习这三种范式之间的差异与边界在哪里。
然后, 它剖析了经验风险最小化（ERM）与结构风险最小化（SRM)这两种方法, 在迁移场景下为什么无法继续有效使用。接着, 它引入了领域适配（）、任务迁移（Task）、关系迁移（）这些经典的分类框架。最后,它深入阐释了所谓的"可迁移性"（）的数学定义。
这个定义指的是源域与目标域之间联合分布P_s(X,Y)和P_t(X,Y)所具有的统计距离度量方式, 比如MMD、距离、对抗判别距离等形式。这样做能够为后续所有的技术选型工作提供一个非常严谨的理论锚点, 也就是理论基础支撑。
第2章"Deep"这部分内容, 把话题直接对准了迁移学习在物理层面所依靠的那个东西, 也就是深度神经网络。它不光是详细解释了CNN以及RNN这两种网络的架构是怎么一步一步发展起来的, 也讲清楚了梯度是如何进行传播的。更关键的一步, 是它揭示出了深层表征层级语义能够被分开的这种规律。
具体来说, 浅层的卷积核是用来捕获像边缘、纹理这样的通用低级视觉基元的。到了中层, 这些特性开始组合在一起, 形成部件, 比如车轮或者眼睛这一类东西。再往上到深层, 它们就编码更高级别的语义概念, 例如猫科动物或者是交通标志这一类的说法。
这种具有层次感、可以被重复使用的特征抽象能力, 正是迁移之所以能够可行的依据, 这个依据同时包含了来自生物学的视角和来自信息论的视角。
在第五章这个标题里带着那个看起来像是有缺失的英文短语的章节里, 也就是所谓的"力量"什么的这一章, 它是整本书里关于方法的那些核心部分, 它把三种主流的、大家现在都用的迁移学习方法全都给讲了一遍。
第一种叫基于预训练模型的微调, 在那个单词前面有个空格后面是粗体的连字符, 作者详细地讲了怎么把这个事先训练好的模型用在那些特定的目标数据集合上去做逐层的冻结策略, 比方说你可以只去训练那个完全连接层在最上面的时候, 或者是把最后面那几个大块头给解开让其可以学习, 又或者是让整个网络全部都重新进行微调, 在这个过程里你还得设置不同层的学习率, 在下面这些不太需要的层里你要用更小的那个学习率值来防止把从大模型里学到的那些通用特征给搞坏了, 同时还得配合上梯度裁剪还有正则化增加的一些技巧；第二个策略呢叫做特征提取, 这个词也是一个被截断的形式, 它就是简单地把之前那个预训练好的模型当成一个固定的用来编码特征的机器, 从你那些特定的样本数据里把它们深层的特征向量给弄出来, 然后再把这些东西接到比如说SVM或者是一些其他的传统分类器上边去, 这个方法特别适合那种只有极少样本量的情况下使用；第三个则是领域对抗训练, 这个名字也被切掉了一些, 它是靠着一个叫梯度的那个反向传播层和一个专门去辨别不同领域的判别器一起工作来进行协同优化的, 这样做的目的就是为了强制那个生成特征的东西输出的表征是不管换哪个领域都是一样的不变的, 从而来解决比如从一个摄像头换到另一个摄像头时, 还是换了一种电子设备的时候或者是换了不同的语言时那种数据分布不一致的问题。
这本书里面所有的代码, 都支持在2.x版本和1.x版本的框架里跑起来。我们对比分析了两种框架之间的不同处, 具体包括怎样进行迁移以及适配方面的差异, 涉及的维度有动态图和静态图的分别处理, 还有自动微分的机制, 以及分布式训练的实践等。
接下来的应用章节展现出了非常强大的工程深度, 第六章叫做Image and, 它不仅仅涵盖了标准Fine的整个过程, 还引入了多尺度特征融合迁移这个概念, 比如FPN加上迁移这样做, 还包括少样本图像分类这一块, 就是Few-shot via这种形式, 甚至还有跨模态图像和文本联合迁移这样的雏形, 采用的是CLIP-style这种方式；第七章是Text, 它深入地去分析了BERT系列还有GPT系列这些预训练语言模型在迁移方面的机制, 详细解析了Token以及Layer-wise在不同迁移效果上的差异, 还演示了如何在新建任务中高效地注入领域知识, 像新闻分类、情感分析或者法律文书归类这类下游任务都包括了, 并且使用了- Fine这种方式；第八章则是Audio and, 这一部分突破了以往以视觉为主的那种范式, 介绍了Mel频谱图的迁移做法、预训练音频表征的应用情况, 以及在端到端语音命令识别也就是Wake Word里面使用的迁移策略, 特别强调了时序建模这个问题, 同时指出了短时傅里变换也就是STFT那些特征在进行空间时间联合迁移时面临的挑战。
全书内容里都涉及那些属于最前沿的议题, 具体比如数据增强这个事项, 里面提到了 MixUp 方法, 还有知识蒸馏这件事, 讲的是怎么从很大的模型学到知识传到比较小的模型上去, 另外也包括了迁移鲁棒性评估这个板块, 每一章都准备了相应的实操环境, 目的就是保证读者有机会自己动手去完成一遍完整的过程, 把这个过程包括如何加载数据、怎么读取已经训练好的模型、如何进行相关的配置操作、怎样监控整个训练的过程以及如何把最终的结果以图表的形式展示出来, 全部都能实现复现的目标。
这个资源它不仅仅是技术手册, 它也还是大家去理解人工智能模型里面那些所谓知识到底是个什么本质的一个关键的东西, 同时呢, 构建可以重复使用的人工智能资产体系也需要靠这个, 推动产业智能化升级也要靠这个关键认知基石部分。