【机器学习】Teacher-Student框架

Teacher-Student Setup是一个经典的机器学习框架,包含两个核心角色:

    • 教师模型 (Teacher Model)

      • 通常是一个更大、更强、已经训练好(或正在训练)的模型。
      • 它对问题有很好的理解,性能优秀。
      • 它的作用是为学生提供"指导"。
    • 学生模型 (Student Model)

      • 通常是一个更小、更轻量级的模型。
      • 它的目标是学习教师的能力,最终在性能上接近甚至超越教师(在特定任务上)。
      • 学生不仅从真实标签 (hard labels) 中学习,还会从教师的输出 (soft labels) 中学习。
  1. 教师如何"教"学生?------ 知识蒸馏 (Knowledge Distillation)

    这是最核心的机制:

    • Hard Labels (硬标签) :原始数据中的正确答案,比如图片是"猫",标签就是 [0, 1, 0]
    • Soft Labels (软标签) :教师模型输出的概率分布。例如,对于一张猫的图片,教师可能输出 [0.05 (狗), 0.9 (猫), 0.05 (虎)]。这个分布包含了教师的"思考过程"------它知道这张图非常像猫 ,但也有一点点像狗和虎
    • 学习过程 :学生模型的损失函数(Loss Function)通常由两部分组成:
      1. 一部分是与真实标签计算的损失(如交叉熵)。
      2. 另一部分是与教师的软标签计算的损失,目标是让学生的输出分布与教师的输出分布尽可能相似。
相关推荐
中杯可乐多加冰6 分钟前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
遇见尚硅谷6 分钟前
C语言:20250728学习(指针)
c语言·开发语言·数据结构·c++·笔记·学习·算法
无线图像传输研究探索16 分钟前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
十八岁讨厌编程34 分钟前
【算法训练营Day17】二叉树part7
算法
YouQian7721 小时前
(AC)Playlist
算法
zzywxc7871 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny2 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
算法_小学生2 小时前
决策树(Decision Tree)完整解析:原理 + 数学推导 + 剪枝 + 实战
算法·决策树·剪枝
旧时光巷2 小时前
【机器学习-4】 | 集成学习 / 随机森林篇
python·随机森林·机器学习·集成学习·sklearn·boosting·bagging
岁忧2 小时前
(LeetCode 面试经典 150 题 ) 155. 最小栈 (栈)
java·c++·算法·leetcode·面试·go