【机器学习】Teacher-Student框架

Teacher-Student Setup是一个经典的机器学习框架,包含两个核心角色:

    • 教师模型 (Teacher Model)

      • 通常是一个更大、更强、已经训练好(或正在训练)的模型。
      • 它对问题有很好的理解,性能优秀。
      • 它的作用是为学生提供"指导"。
    • 学生模型 (Student Model)

      • 通常是一个更小、更轻量级的模型。
      • 它的目标是学习教师的能力,最终在性能上接近甚至超越教师(在特定任务上)。
      • 学生不仅从真实标签 (hard labels) 中学习,还会从教师的输出 (soft labels) 中学习。
  1. 教师如何"教"学生?------ 知识蒸馏 (Knowledge Distillation)

    这是最核心的机制:

    • Hard Labels (硬标签) :原始数据中的正确答案,比如图片是"猫",标签就是 [0, 1, 0]
    • Soft Labels (软标签) :教师模型输出的概率分布。例如,对于一张猫的图片,教师可能输出 [0.05 (狗), 0.9 (猫), 0.05 (虎)]。这个分布包含了教师的"思考过程"------它知道这张图非常像猫 ,但也有一点点像狗和虎
    • 学习过程 :学生模型的损失函数(Loss Function)通常由两部分组成:
      1. 一部分是与真实标签计算的损失(如交叉熵)。
      2. 另一部分是与教师的软标签计算的损失,目标是让学生的输出分布与教师的输出分布尽可能相似。
相关推荐
二进制person2 小时前
Java SE--方法的使用
java·开发语言·算法
麻雀无能为力2 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
OneQ6662 小时前
C++讲解---创建日期类
开发语言·c++·算法
时序之心2 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
JoJo_Way3 小时前
LeetCode三数之和-js题解
javascript·算法·leetcode
.30-06Springfield3 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域4 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技4 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_14 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
凌肖战5 小时前
力扣网C语言编程题:在数组中查找目标值位置之二分查找法
c语言·算法·leetcode