技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
糯米导航
1 小时前
AI 视觉回归实战:截图对比不是“找不同”,如何让智能差异分析真正服务 UI 质量
人工智能
·
ui
·
回归
科技圈观察
2 小时前
2026年好伴AI医疗专用大模型应用梳理与梯队参考
人工智能
jkyy2014
2 小时前
深耕AI健康医疗数据智库,赋能企业构建主动健康管理新生态
大数据
·
人工智能
·
健康医疗
cd_94921721
2 小时前
3D角色自动绑骨怎么做?用V2Fun完成建模、绑定、动作和导出
人工智能
·
3d
瑞禧生物tech
2 小时前
SH-PEG-Biotin巯基-聚乙二醇-生物素 HS-PEG-Bio 深度解析
人工智能
QYR-分析
2 小时前
机器人安全控制器行业高速扩容 本土替代迎来全新发展窗口期
人工智能
·
安全
·
机器人
冬奇Lab
3 小时前
MCP 系列(06):MCP vs Function Calling——用数据说话的选型指南
人工智能
冬奇Lab
3 小时前
每日一个开源项目(第159篇):Vibe-Trading - 用自然语言做量化研究,AI 驱动的个人交易 Agent
人工智能
·
开源
·
资讯
AI大模型-小雄
3 小时前
2026 年 7 月国内怎么开通 ChatGPT Pro?5x / 20x 区别、适合人群与避坑指南
人工智能
·
gpt
·
chatgpt
·
ai编程
·
开发工具
·
codex
·
chatgpt pro
快乐非自愿
3 小时前
AI低代码破局:数字化降本增效的核心逻辑与商业落地
人工智能
·
低代码
热门推荐
01
GitHub 镜像站点
02
幻兽帕鲁 - 服务器管理员权限与 GM 命令完全指南
03
AI科技热点日报 | 2026年07月01日
04
2026年7月AI圈大地震:GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片
05
GPT-5.5 对比 GPT-5.6 Sol、Terra、Luna:官方性能数据与选型分析
06
2026 国产 AI 大模型横评:DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打?
07
AI 编程 IDE 全景解析 2026:Agent 全面接管开发链路
08
2026 年 AI 编程工具终极横评:Cursor vs Claude Code vs Copilot vs Windsurf
09
2026 AI 编程工具终极实战指南:Cursor vs Claude Code vs Copilot,开发者该怎么选?
10
几个好用的ip纯净度检测网站