技术栈
模型压缩
青云交
8 天前
人工智能
·
模型压缩
·
模型优化
·
应用案例
·
多头注意力
·
技术挑战
·
transformer 架构
·
训练算法
智创 AI 新视界 -- 基于 Transformer 架构的 AI 模型优化(16 - 11)
💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。💖💖💖
好评笔记
18 天前
人工智能
·
深度学习
·
剪枝
·
模型压缩
·
量化
·
蒸馏
·
大模型优化
深度学习笔记——模型压缩和优化技术(蒸馏、剪枝、量化)
本文详细介绍模型训练完成后的压缩和优化技术:蒸馏、剪枝、量化。模型压缩和优化技术是为了在保证模型性能(精度、推理速度等)的前提下,减少模型的体积、降低计算复杂度和内存占用,从而提高模型在资源受限环境中的部署效率。这些技术对于在边缘设备、移动设备等计算资源有限的场景中部署深度学习模型尤为重要。以下是几种常见的模型压缩和优化技术的解释:
LinKouun
23 天前
论文阅读
·
人工智能
·
语言模型
·
transformer
·
attention
·
模型压缩
·
注意力机制
论文笔记 SliceGPT: Compress Large Language Models By Deleting Rows And Columns
欲买桂花同载酒,终不似,少年游。秩: 矩阵中最大线性无关的行/列向量数。行秩与列秩相等。 线性无关:对于N个向量而言,如果任取一个向量 v \textbf{v} v,不能被剩下的N-1个向量通过线性组合的方式表示,则称这N个向量为线性无关。
IRevers
1 个月前
人工智能
·
深度学习
·
学习
·
算法
·
机器学习
·
剪枝
·
模型压缩
2024强化学习的结构化剪枝模型RL-Pruner原理及实践
论文标题:使用强化学习进行结构化剪枝用于卷积神经网路压缩和加速机构:伊利诺伊大学厄巴纳-香槟分校论文链接:https://arxiv.org/pdf/2411.06463
AI算法-图哥
1 个月前
人工智能
·
pytorch
·
深度学习
·
文生图
·
模型压缩
·
量化
pytorch量化训练
训练时量化(Quantization-aware Training, QAT)是一种在模型训练过程中,通过模拟低精度量化效应来增强模型对量化操作的鲁棒性的技术。与后训练量化不同,QAT 允许模型在训练过程中考虑到量化引入的误差,从而在实际部署时使用低精度进行推理时能够维持更高的性能。
AI-Seeker
4 个月前
人工智能
·
语言模型
·
模型压缩
LLM 模型压缩之三: FoldGPT
论文: FoldGPT: Simple and Effective Large Language Model Compression Scheme
老子云3D可视化
5 个月前
人工智能
·
3d
·
模型压缩
·
模型格式转换
·
模型轻量化
·
模型减面
生成式AI、3D模型交易、模型轻量化、模型格式转换、3D可视化、数字孪生引擎等
老子云3D可视化快速开发平台,集云压缩、云烘焙、云存储云展示于一体,使3D模型资源自动输出至移动端PC端、Web端,能在多设备、全平台进行展示和交互,是全球领先、自主可控的自动化3D云引擎。
老子云3D可视化
7 个月前
3d
·
数字孪生
·
模型压缩
·
倾斜摄影
·
模型格式转换
·
模型轻量化
·
模型减面
3D轻量化的三大应用解决方案
老子云平台https://www.laozicloud.com/01 单模型轻量化解决方案数字化时代,越来越多的C2M定制、文旅、电商等行业,为了开拓市场,提升企业竞争力,开始把目光投向产品的3D展示交互。
老子云平台
8 个月前
3d
·
智慧城市
·
数字孪生
·
可视化
·
模型压缩
·
模型减面
·
数字孪生引擎
赋能智慧校园!A3D数字孪生可视化,轻量又高效!
放假之后,学生们会逐步返学,大量人员出入校园,安全更是不容忽视,如何在短时间内对大批人员及设施进行智能监管?数字化转型是关键手段,我们可以融合线上线下数据,搭建3D立体的智慧校园,实现高效运维。
萤火架构
8 个月前
剪枝
·
模型压缩
·
量化
·
蒸馏
扎克伯格说,Llama3-8B还是太大了,量化、剪枝、蒸馏准备上!
扎克伯格说,Llama3-8B还是太大了,不适合放到手机中,有什么办法?量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,我们很难理解它们都干了些什么,但是这几个词对于现阶段的大语言模型发展特别重要,它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们,理解其中的原理。
老子云平台
8 个月前
3d
·
可视化
·
模型压缩
·
模型轻量化
·
数字孪生引擎
8thWall vs. AR.js
对于熟悉 JavaScript、WebGL 和 HTML5 等 Web 技术的数字创作者来说,8th Wall 提供了功能丰富且强大的 AR 开发平台,尽管价格较高。 然而,新手开发人员和专注于基于标记的 AR 的开发人员可能会发现 AR.js 更易于使用且更经济实惠。
清风2022
1 年前
深度学习
·
transformer
·
剪枝
·
模型压缩
transformer剪枝论文汇总
《Block Pruning For Faster Transformers》 《为更快的transformer进行块修剪》
卷心菜不卷Iris
1 年前
大模型
·
llm
·
模型压缩
首篇大模型压缩论文综述
首篇大模型压缩综述来啦!!!来自中国科学院和人民大学的研究者们深入探讨了基于LLM的模型压缩研究进展并发表了该领域的首篇综述《A Survey on Model Compression for Large Language Models》。
Isawany
1 年前
论文阅读
·
蒸馏模型
·
distillation
·
soft target
·
模型压缩
论文笔记--Distilling the Knowledge in a Neural Network
文章提出了一种将大模型压缩的新的思路:蒸馏distillation。通过蒸馏,可以将很大的模型压缩为轻量级的模型,从而提升推理阶段的速率。