技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
qq_35644837
4 分钟前
机器学习基本概念与梯度下降
人工智能
水如烟
32 分钟前
孤能子视角:关系性学习,“喂饭“的小孩认知
人工智能
徐_长卿
35 分钟前
2025保姆级微信AI群聊机器人教程:教你如何本地打造私人和群聊机器人
人工智能
·
机器人
XyX——
38 分钟前
【福利教程】一键解锁 ChatGPT / Gemini / Spotify 教育权益!TG 机器人全自动验证攻略
人工智能
·
chatgpt
·
机器人
十二AI编程
2 小时前
Anthropic 封杀 OpenCode,OpenAI 闪电接盘:AI 编程生态的 48 小时闪电战
人工智能
·
chatgpt
CCC:CarCrazeCurator
2 小时前
从 APA 到 AVP:汽车自动泊车系统技术演进与产业发展深度研究
人工智能
OpenMiniServer
3 小时前
当 AI 成为 Git 里的一个“人”
人工智能
·
git
bryant_meng
3 小时前
【DLNR】《High-frequency Stereo Matching Network》
人工智能
·
深度学习
·
计算机视觉
·
stereo matching
·
dlnr
梦雨羊
3 小时前
Base-NLP学习
人工智能
·
学习
·
自然语言处理
热门推荐
01
GitHub 镜像站点
02
Labelme从安装到标注:零基础完整指南
03
安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口(持续更新)
04
Linux下V2Ray安装配置指南
05
Claude Code 2.1.2 升级报错?别折腾了,一行命令搞定
06
2025-04-03 Latex学习1——本地配置Latex + VScode环境
07
【踩坑笔记】50系显卡适配的 PyTorch 安装
08
jdk21下载、安装(Windows、Linux、macOS)
09
KGG转MP3工具|非KGM文件|解密音频
10
网站改了域名,如何查找?