模型压缩

Transformer实战（32）——Transformer模型压缩我们已经学习了如何设计自然语言处理 (Natural Language Processing, NLP) 架构，以利用 Transformer 成功解决实际任务。在本节中，我们将学习如何通过蒸馏、剪枝和量化将训练好的模型转化为高效模型，还将了解模型模型压缩的实际应用。随着大规模神经网络模型的扩展，在有限计算能力下运行大模型变得越来越困难，如何构建高效的模型变得尤为重要。轻量化的通用语言模型(例如 DistilBERT )可以像未蒸馏的模型一样进行微调，并能够获得与未压缩模型相媲美的性能。我们还将简要介绍

深度模型瘦身术：从100MB到5MB的工业级压缩实战训练了一个准确率95%的模型，却因为体积太大无法部署到手机APP；云端推理成本太高，每天GPU费用上千元；模型响应速度慢，用户体验极差——这是很多AI项目从实验室走向生产环境时的真实困境。

论文Review 3DGS HAC | ECCV2024 上海交大莫纳什大学| 数10倍的3DGS模型压缩题目：HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression

计算机视觉进化论：YOLOv12、YOLOv11与Darknet系YOLOv7的微调实战对比YOLO系列作为实时目标检测领域的重要里程碑，持续引领速度与精度的平衡发展。本文围绕YOLOv7（基于Darknet框架）、YOLOv11及YOLOv12，系统、深入地对比了三款模型的架构创新、微调策略、核心技术及应用场景。我们详细解析了三者骨干网络设计（如Darknet-53、E-ELAN、C3k2模块）、注意力机制（如YOLOv12的Area Attention）以及参数优化策略（动态数据增强、量化剪枝），并结合工业检测、医疗影像、自动驾驶等多样化应用展开实战案例。实验表明，YOLOv12-N在mAP

什么是量化？BERT 模型压缩的秘密武器在自然语言处理（NLP）领域，BERT（Bidirectional Encoder Representations from Transformers）模型自问世以来，便如同一颗璀璨的明星，迅速成为研究和应用的焦点。它凭借着强大的语言理解能力和卓越的性能表现，在多个 NLP 任务中取得了领先成绩，为整个领域带来了革命性的变化。

智创 AI 新视界 -- 基于 Transformer 架构的 AI 模型优化（16 - 11）💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。💖💖💖

深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。模型压缩和优化技术是为了在保证模型性能（精度、推理速度等）的前提下，减少模型的体积、降低计算复杂度和内存占用，从而提高模型在资源受限环境中的部署效率。这些技术对于在边缘设备、移动设备等计算资源有限的场景中部署深度学习模型尤为重要。以下是几种常见的模型压缩和优化技术的解释：

论文笔记 SliceGPT: Compress Large Language Models By Deleting Rows And Columns欲买桂花同载酒，终不似，少年游。秩：矩阵中最大线性无关的行/列向量数。行秩与列秩相等。线性无关：对于N个向量而言，如果任取一个向量 v \textbf{v} v，不能被剩下的N-1个向量通过线性组合的方式表示，则称这N个向量为线性无关。

2024强化学习的结构化剪枝模型RL-Pruner原理及实践论文标题：使用强化学习进行结构化剪枝用于卷积神经网路压缩和加速机构：伊利诺伊大学厄巴纳-香槟分校论文链接：https://arxiv.org/pdf/2411.06463

AI算法-图哥

pytorch量化训练训练时量化（Quantization-aware Training, QAT）是一种在模型训练过程中，通过模拟低精度量化效应来增强模型对量化操作的鲁棒性的技术。与后训练量化不同，QAT 允许模型在训练过程中考虑到量化引入的误差，从而在实际部署时使用低精度进行推理时能够维持更高的性能。

LLM 模型压缩之三: FoldGPT论文: FoldGPT: Simple and Effective Large Language Model Compression Scheme

老子云3D可视化

生成式AI、3D模型交易、模型轻量化、模型格式转换、3D可视化、数字孪生引擎等老子云3D可视化快速开发平台，集云压缩、云烘焙、云存储云展示于一体，使3D模型资源自动输出至移动端PC端、Web端，能在多设备、全平台进行展示和交互，是全球领先、自主可控的自动化3D云引擎。

老子云3D可视化

3D轻量化的三大应用解决方案老子云平台https://www.laozicloud.com/01 单模型轻量化解决方案数字化时代，越来越多的C2M定制、文旅、电商等行业，为了开拓市场，提升企业竞争力，开始把目光投向产品的3D展示交互。

老子云平台

赋能智慧校园！A3D数字孪生可视化，轻量又高效！放假之后，学生们会逐步返学，大量人员出入校园，安全更是不容忽视，如何在短时间内对大批人员及设施进行智能监管？数字化转型是关键手段，我们可以融合线上线下数据，搭建3D立体的智慧校园，实现高效运维。

扎克伯格说，Llama3-8B还是太大了，量化、剪枝、蒸馏准备上！扎克伯格说，Llama3-8B还是太大了，不适合放到手机中，有什么办法？量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要，它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们，理解其中的原理。

老子云平台

8thWall vs. AR.js对于熟悉 JavaScript、WebGL 和 HTML5 等 Web 技术的数字创作者来说，8th Wall 提供了功能丰富且强大的 AR 开发平台，尽管价格较高。然而，新手开发人员和专注于基于标记的 AR 的开发人员可能会发现 AR.js 更易于使用且更经济实惠。

transformer剪枝论文汇总《Block Pruning For Faster Transformers》《为更快的transformer进行块修剪》

卷心菜不卷Iris

首篇大模型压缩论文综述首篇大模型压缩综述来啦！！！来自中国科学院和人民大学的研究者们深入探讨了基于LLM的模型压缩研究进展并发表了该领域的首篇综述《A Survey on Model Compression for Large Language Models》。

论文笔记--Distilling the Knowledge in a Neural Network文章提出了一种将大模型压缩的新的思路：蒸馏distillation。通过蒸馏，可以将很大的模型压缩为轻量级的模型，从而提升推理阶段的速率。

我是有底线的