技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
腾讯云开发者
1 小时前
港科大熊辉|AI时代的职场新坐标——为什么你应该去“数据稀疏“的地方?
人工智能
工程师老罗
1 小时前
YoloV1数据集格式转换,VOC XML→YOLOv1张量
xml
·
人工智能
·
yolo
Coder_Boy_
2 小时前
技术让开发更轻松的底层矛盾
java
·
大数据
·
数据库
·
人工智能
·
深度学习
啊森要自信
2 小时前
CANN ops-cv:面向计算机视觉的 AI 硬件端高效算子库核心架构与开发逻辑
人工智能
·
计算机视觉
·
架构
·
cann
2401_83623586
2 小时前
中安未来SDK15:以AI之眼,解锁企业档案的数字化基因
人工智能
·
科技
·
深度学习
·
ocr
·
生活
njsgcs
2 小时前
llm使用 AgentScope-Tuner 通过 RL 训练 FrozenLake 智能体
人工智能
·
深度学习
董董灿是个攻城狮
2 小时前
AI 视觉连载2:灰度图
人工智能
yunfuuwqi
3 小时前
OpenClaw✅真·喂饭级教程:2026年OpenClaw(原Moltbot)一键部署+接入飞书最佳实践
运维
·
服务器
·
网络
·
人工智能
·
飞书
·
京东云
九河云
3 小时前
5秒开服,你的应用部署还卡在“加载中”吗?
大数据
·
人工智能
·
安全
·
机器学习
·
华为云
热门推荐
01
GitHub 镜像站点
02
Claude Code + GLM4.7 避坑指南:解决 Unable to connect to Anthropic services
03
openclaw配置教程(linux+局域网ollama)
04
UV安装并设置国内源
05
Linux下V2Ray安装配置指南
06
AI 规范驱动开发“三剑客”深度对比:Spec-Kit、Kiro 与 OpenSpec 实战指南
07
openclaw使用nginx反代部署过程 与disconnected (1008): pairing required解决
08
Claude Code Skills 实用使用手册
09
在Trae中使用Pencil MCP
10
Vue-skills的中文文档