知识蒸馏

阿里云大数据AI技术

DistilQwen2：通义千问大模型的知识蒸馏实践作者：岳元浩（顾城）、汪诚愚（熊兮）、严俊冰（玖烛）、黄俊（临在）在人工智能快速发展的今天，大语言模型已经成为了人工智能的研究热点。其中，通义千问（Qwen）大模型系列凭借其强大的语言理解和生成能力，吸引了开源社区越来越多的关注。随着这些模型的应用场景不断扩大，如何提高它们的运算效率，降低部署成本，成为了一项重要的课题。知识蒸馏作为一种有效的模型压缩技术，通过将大型模型的知识转移到较小的模型中，实现了在确保性能的前提下，显著降低了所需的计算资源和推理时长，从而使得模型在实际应用中变得更加灵活和高效。

Phoenixtree_DongZhao

ECCV2024 - UNIC：基于多教师蒸馏的通用分类模型ProjectRelative gains using our UNIC encoder distilled from four teachers (DINO, DeiT-III, iBOT, dBOT-ft), over the respective best teacher for each task using a single encoder and no task-specific parameters. All models (UNIC and teachers) are trained on

【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting年份：2017 作者：Zhizhong Li，Amazon AWS Rekognition；Derek Hoiem，伊利诺伊大学计算机科学教授会议：IEEE transactions on pattern analysis and machine intelligence 引用量：4325 Li Z, Hoiem D. Learning without forgetting[J]. IEEE transactions on pattern analysis and machine intelligenc

20240621日志：大模型压缩-从闭源大模型蒸馏location：beijing 涉及知识：大模型压缩、知识蒸馏本文提出在一个贝叶斯估计框架内估计闭源语言模型的输出分布，包括先验估计和后验估计。先验估计的目的是通过闭源模型生成的语料库（可能包含模型的粗粒度信息）得到先验分布；后验估计使用代理模型来更新先验分布并生成后验分布。利用这两个分布来进行知识蒸馏。

CVPR2024知识蒸馏Distillation论文49篇速通主要内容概述：本文介绍了一种名为3D Paintbrush的技术，该技术可以通过文本描述自动对网格上的局部语义区域进行纹理处理。技术操作直接在网格上，生成的纹理图能融入标准图形管线。同时生成定位图和纹理图，提升质量。此外，使用了级联得分蒸馏（CSD）来增强纹理细节和分辨率。

行动π技术博客

大模型蒸馏：高效AI的秘诀在人工智能的快速发展中，大模型因其强大的学习能力和广泛的应用场景而备受瞩目。然而，这些模型通常需要大量的计算资源和存储空间，限制了它们在实际应用中的部署。为了解决这一问题，大模型蒸馏技术应运而生，它旨在通过将大模型的知识转移到更小、更高效的模型中，以实现资源优化和性能提升。

论文阅读--Search to DistillStandard Knowledge Distillation (KD) approaches distill the knowledge of a cumbersome teacher model into the parameters of a student model with a pre-defined architecture. However, the knowledge of a neural network, which is represented by the network’s o

论文阅读--A Comprehensive Overhaul of Feature Distillation HeoWe investigate the design aspects of feature distillation methods achieving network compression and propose a novel feature distillation method in which the distillation loss is designed to make a synergy among various aspects: teacher transform, student

论文精读--Pay More Attention To AttentionAttention plays a critical role in human visual experience. Furthermore, it has recently been demonstrated that attention can also play an important role in the context of applying artificial neural networks to a variety of tasks from fields such as compu

文献学习-25-综合学习和适应性教学：用于病理性胶质瘤分级的多模态知识蒸馏Abstract多模态数据（例如病理切片和基因组图谱）的融合可以提供补充信息并有益于神经胶质瘤分级。然而，由于成本高和技术挑战，基因组图谱难以获得，从而限制了多模态诊断的临床应用。在这项工作中，调查了一个现实问题，即在训练期间可以使用配对的病理基因组数据，而只有病理切片可用于推理。针对这一问题，该文提出一种综合学习和适应性教学框架，通过将特权知识从多模态教师转移到病理学学生身上，提高病理分级模型的性能。为了全面学习多模态教师，提出了一种新颖的显著性感知掩蔽（SA-Mask）策略，通过掩蔽最显着的特征来探索

业余小程序猿

知识蒸馏实战代码教学二（代码实战部分）（1）首先我们要先训练出较大模型既teacher模型。（在图中没有出现）（2）再对teacher模型进行蒸馏，此时我们已经有一个训练好的teacher模型，所以我们能很容易知道teacher模型输入特征x之后，预测出来的结果teacher_preds标签。

tinyViT论文笔记论文：https://arxiv.org/abs/2207.10666 GitHub：https://github.com/microsoft/Cream/tree/main/TinyViT

汀、人工智能

TextBrewer:融合并改进了NLP和CV中的多种知识蒸馏技术、提供便捷快速的知识蒸馏框架、提升模型的推理速度，减少内存占用TextBrewer是一个基于PyTorch的、为实现NLP中的知识蒸馏任务而设计的工具包，融合并改进了NLP和CV中的多种知识蒸馏技术，提供便捷快速的知识蒸馏框架，用于以较低的性能损失压缩神经网络模型的大小，提升模型的推理速度，减少内存占用。