Distilling the Knowledge in a Neural Network【论文解析】

Distilling the Knowledge in a Neural Network 知识蒸馏

    • 摘要
    • [1 引言](#1 引言)

摘要

提高几乎任何机器学习算法性能的一种非常简单的方法是在相同的数据上训练许多不同的模型,然后对它们的预测进行平均处理[3]。不幸的是,使用整个模型集合进行预测既繁琐又可能过于计算密集,特别是如果单独的模型是庞大的神经网络,这将使其无法部署到大量用户那里。Caruana及其合作者[1]已经表明,可以将集合中的知识压缩成一个单一模型,这个单一模型更容易部署,而我们使用不同的压缩技术进一步发展了这种方法。在MNIST数据集上,我们取得了一些令人惊讶的结果,并且我们表明,通过将模型集合中的知识提炼成一个单一模型,我们可以显著改进广泛使用的商业系统的声学模型。我们还引入了一种新类型的集合,由一个或多个全模型和许多专门模型组成,这些专门模型学会区分全模型混淆的细粒度类别。与专家混合不同,这些专门模型可以快速并行训练。

1 引言

许多昆虫都具有一种幼虫形态,该形态经过优化以从环境中提取能量和营养,以及一种完全不同的成虫形态,该成虫形态经过优化以适应旅行和繁殖的截然不同需求。在大规模机器学习中,尽管训练阶段和部署阶段的需求截然不同,但我们通常使用非常相似的模型:对于语音识别和目标识别等任务,训练必须从非常大、高度冗余的数据集中提取结构,但无需实时操作,可以使用大量计算资源。然而,部署到大量用户需要更严格的延迟和计算资源要求。与昆虫的类比表明,如果能更轻松地从数据中提取结构,我们应该愿意训练非常复杂的模型。这种复杂的模型可以是由分别训练的多个模型组成的集合,也可以是使用强正则化器(例如dropout)训练的单一非常大的模型。一旦训练好了这个复杂的模型,我们可以使用一种不同类型的训练,我们称之为"蒸馏",将知识从复杂的模型转移到更适合部署的小型模型。这种策略的一个版本已经由Rich Caruana及其合作者开创[1]。在他们的重要论文中,他们令人信服地证明了从大量模型集合中获得的知识可以转移到单一的小型模型。

未完待续

相关推荐
子燕若水2 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室3 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿3 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫3 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手3 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记4 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元4 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术4 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
超龄超能程序猿5 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉