技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
回眸&啤酒鸭
11 小时前
【回眸】Minicart 电商购物车核心功能落地指南
人工智能
一隅论数智
11 小时前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据
·
人工智能
·
经验分享
·
笔记
·
学习
·
学习方法
·
政务
AI的探索之旅
12 小时前
97 个 OpenCV 实例(三十):双目立体,从标定到点云
人工智能
·
opencv
·
计算机视觉
AlbertZein
12 小时前
Step-5-Preview 上手实测:3D 游戏、金融分析、网页设计一次跑完
人工智能
·
aigc
LaughingZhu
12 小时前
Product Hunt 每日热榜 | 2026-09-19
人工智能
·
深度学习
·
神经网络
·
搜索引擎
·
百度
美狐美颜SDK开放平台
12 小时前
开发直播APP时如何接入视频美颜SDK?开发流程与注意事项
android
·
人工智能
·
计算机视觉
·
音视频
·
直播美颜sdk
wukangjupingbb
12 小时前
智能网联汽车安全能力框架
人工智能
龙亘川
13 小时前
明月照湾区,智启新赛道:从顶流文旅IP盛会看智慧文旅升级路径
人工智能
·
智慧城市
·
开源软件
·
数据可视化
飞猫的边缘AI
13 小时前
边缘AI应用:家用AI摄像头怎么做数据训练?
人工智能
·
边缘计算
·
ai算法
·
边缘ai
热门推荐
01
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
02
GitHub 镜像站点
03
历年考研数学一、数学二、数学三真题试卷及答案PDF
04
蜘蛛磁力 搜索引擎大全,如何使用蜘蛛磁力查找磁力链接
05
微信历史版本含下载地址( Windows PC | 安卓 | MAC )及设置微信不更新
06
2026 国产 AI 大模型横评:DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打?
07
Telegram APK 下载安装完整指南 — 2026年最新
08
人工智能(AI)发展史:详细里程碑
09
2026 爱知・名古屋亚运会怎么看?直播平台+赛程安排分享
10
ZCode 周末送额度活动开启:3 亿 Token 免费领取