知识蒸馏

27届大模型岗面试准备（十一）：模型蒸馏与稀疏化——从软标签到结构化剪枝的压缩全景上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题——知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。

薛定谔的猫1982

大语言模型知识蒸馏：原理、核心机制与实战落地随着大语言模型（LLM）参数量持续攀升，千亿、百亿级模型凭借强大的语义理解、逻辑推理与文本生成能力，刷新了自然语言处理任务的性能上限。但庞大的参数量带来了推理速度慢、显存占用高、部署成本昂贵等问题，极大限制了大模型在终端设备、轻量化服务场景的落地应用。知识蒸馏作为高效的模型压缩与能力迁移技术，能够将大模型的认知能力迁移至小参数量模型，在降低模型部署成本的同时，最大限度保留大模型的核心性能，是当前大模型轻量化落地的核心方案之一。本文结合Qwen模型蒸馏实战代码，系统拆解大模型知识蒸馏的核心原理、关键机制、训

人工智能【第47篇】深度学习优化：模型压缩与加速技术作者的话：随着深度学习模型越来越庞大（GPT-4有万亿级参数），如何在资源受限的设备上部署这些模型成为一个巨大挑战。模型压缩与加速技术能够在保持模型精度的同时，显著减小模型体积和提升推理速度。本文将深入解析这些技术的原理、方法和实战技巧！

解纠缠-多模态特权知识提取在不完全多模态数据下的抑郁症识别提出融合特征解耦与特权知识蒸馏的框架（Dis2DR）针对多模态抑郁症识别中模态缺失或降质问题，设计了一个通用框架，同时利用特征解耦和特权知识蒸馏来提高识别鲁棒性。

ICMR2024 | 当对比学习遇上知识蒸馏：轻量超分模型压缩新框架近年来，得益于深度学习的发展，单幅图像超分辨率（Single Image Super-Resolution, SISR）技术得到了快速的进步。然而，为了取得更好的性能,大多数基于卷积神经网络（Convolutional Neural Networks, CNNs）的方法盲目地加深网络深度，导致模型参数量大，不可避免地带巨大的计算开销和内存消耗，限制了其在资源受限设备上的应用。

博士僧小星

人工智能|大模型——模型——大模型蒸馏详解（定义/原理/关键技术/落地）大模型蒸馏（Model Distillation），即知识蒸馏（Knowledge Distillation），是一种将大型教师模型（如BERT、GPT-4o、DeepSeek-R1）的“隐含知识”高效迁移至轻量级学生模型（如DistilBERT、Qwen-1.5B、LSTM+Attention）的关键压缩技术。本文基于掘金、CSDN及行业实测文档三源权威材料，系统梳理其四大核心：① 定义与动因——直面2017–2024年参数量从5×10⁶暴涨至>10¹²的算力焦虑；② 四步闭环原理——教师训练→软标签生

硅基捕手维克托

在策略上下文蒸馏：OPCD 把上下文知识直接焊进参数里 | 微软研究院论文链接：https://arxiv.org/abs/2602.12275 发布时间：2026.02.12 机构：微软研究院

程序员爱德华

深度学习模型最基础的神经网络，用于简单分类、回归擅长图像、语音、时序等网格数据传统序列模型，处理文本、时间序列ResNet / DenseNet：图像分类backbone ViT（Vision Transformer）：用Transformer做视觉 YOLO / Faster R-CNN：目标检测 U-Net：医学图像分割 GAN / StyleGAN：图像生成 Stable Diffusion / Flux：文生图、图生图扩散模型

【LLM】一文理解推理大模型2024年，大语言模型领域呈现出日益细化的趋势。除了预训练和微调之外，我们还见证了各种专业化应用的兴起，从检索增强生成到代码助手，不一而足。我预计这一趋势将在2025年进一步加速，对特定领域和应用场景的优化（即“专业化”）将得到更加重视。图1：阶段1至阶段3是开发大型语言模型的通用步骤。阶段4则针对特定用例对大型语言模型进行专门化处理。

【KD】Generalized Knowledge Distillation和On-Policy DistillationGKD（Generalized Knowledge Distillation，广义知识蒸馏）训练算法由论文 On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes 提出。该算法通过结合离线（off-policy）和在线（on-policy）学习策略，将教师模型的知识迁移到学生模型中。

这张生成的图像能检测吗

（论文速读）Nickel and Diming Your GAN：通过知识蒸馏提高GAN效率的双重方法论文题目：Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation （通过知识蒸馏提高GAN效率的双重方法）

轻量模型推理性能优化实战：让AI在终端设备上“飞”起来目录摘要1 引言：边缘计算时代的性能挑战2 技术原理：轻量模型优化的理论基础2.1 模型轻量化的核心设计理念

知识蒸馏的原理及适用场景作者：吴业亮博客：wuyeliang.blog.csdn.net知识蒸馏是一种让小型学生模型学习大型教师模型的模型压缩技术，其核心目标是在保持性能的同时，显著降低模型的计算需求和体积。下面这个流程图清晰地展示了其典型的训练过程。

[论文笔记] ASR is all you need: Cross-modal distillation for lip reading (2020)原文标题：ASR is all you need: Cross-modal distillation for lip reading 发表年份：2020 核心思想：利用强大的 ASR（语音识别）模型作为教师，通过跨模态蒸馏，利用无标签数据训练 VSR（视觉语音识别/唇读）模型。

西西弗Sisyphus

大模型多轮对话flyfish多轮对话的价值在于保持上下文连贯性理解依赖上下文的问题：比如例子中，单轮对话里 “为什么会是这种颜色？” 是孤立的，模型需要猜测 “这种颜色” 指什么（输出中模型确实询问了具体对象）；而多轮对话中，模型明确知道是承接 “天空的颜色”，因此直接针对天空颜色的成因展开，回答更精准。

西贝爱学习

《Distilling the Knowledge in a Neural Network》论文PDF分享， 2015 年，谷歌提出了 “知识蒸馏” 的概念我用夸克网盘给你分享了「Distilling the Knowledge in a Neural Network」，链接：https://pan.quark.cn/s/c32bb910f196

模型蒸馏（Distillation）案例--从DeepSeek-R1-1.5B 到 Qwen-2.5-1.5B 的模型蒸馏DeepSeek-R1-1.5B 到 Qwen-2.5-1.5B 的模型蒸馏（Distillation）

【数据挖掘】知识蒸馏（Knowledge Distillation, KD）知识蒸馏（Knowledge Distillation, KD）是一种模型压缩和知识迁移技术，旨在将大型复杂模型（称为教师模型）中的知识传递给一个较小的模型（称为学生模型），以减少计算成本，同时保持较高的性能。该方法最早由 Hinton 等人在 2015 年提出，已广泛应用于计算机视觉、自然语言处理和深度学习领域中的模型优化任务。

DDK:Distilling Domain Knowledge for Efficient Large Language Models速览方法论不太了解知识蒸馏的可以看这篇文章【KD开山之作】本文的动机是“降低学生模型在各领域和老师模型的差异”。

大模型之路

DeepSeek-R1 如何通过知识蒸馏将推理能力传递给 QwenDeepSeek-R1（深度解析 DeepSeek R1：强化学习与知识蒸馏的协同力量），作为一个通过大规模强化学习训练出的强大推理模型，在数学、编程等推理任务上达到了与OpenAI-o1相当的性能水平。然而，如此强大的模型如何能够在资源受限的设备上运行，成为了一个亟待解决的问题。DeepSeek团队通过创新的知识蒸馏技术，成功地将DeepSeek-R1的推理能力传递给了参数量更小的Qwen系列模型，为AI模型的轻量化部署提供了重要参考。本文将详细探讨这一过程。