技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
大模型真好玩
16 分钟前
LangChain DeepAgents 速通指南(三)—— 让Agent告别混乱:Tool Selector与Todo List中间件解析
人工智能
·
langchain
·
trae
孟祥_成都
1 小时前
【全网最通俗!新手到AI全栈开发必读】 AI 是如何进化到大模型的
前端
·
人工智能
·
全栈
牛奶
1 小时前
AI辅助开发的基础概念
前端
·
人工智能
·
ai编程
东坡肘子
1 小时前
OpenClaw 不错,但我好像没有那么需要 -- 肘子的 Swift 周报 #125
人工智能
·
swiftui
·
swift
风象南
9 小时前
普通人用AI加持赚到的第一个100块
人工智能
·
后端
牛奶
9 小时前
2026年大模型怎么选?前端人实用对比
前端
·
人工智能
·
ai编程
牛奶
9 小时前
前端人为什么要学AI?
前端
·
人工智能
·
ai编程
罗西的思考
12 小时前
AI Agent框架探秘:拆解 OpenHands(10)--- Runtime
人工智能
·
算法
·
机器学习
冬奇Lab
13 小时前
OpenClaw 源码精读(2):Channel & Routing——一条消息如何找到它的 Agent?
人工智能
·
开源
·
源码阅读
冬奇Lab
13 小时前
一天一个开源项目(第38篇):Claude Code Telegram - 用 Telegram 远程用 Claude Code,随时随地聊项目
人工智能
·
开源
·
资讯
热门推荐
01
GitHub 镜像站点
02
OpenClaw 使用和管理 MCP 完全指南
03
OpenClaw + 飞书(Feishu)环境搭建指南
04
【OpenClaw 本地实战 Ep.3】突破瓶颈:强制修改 openclaw.json 解锁 32k 上下文记忆
05
OpenClaw优化飞书API 额度已耗尽问题
06
Claude Code + GLM4.7 避坑指南:解决 Unable to connect to Anthropic services
07
Clawdbot部署教程:解决‘gateway token missing’授权问题的完整步骤
08
小黑课堂计算机二级WPSoffice题库软件下载安装教程(2026年3月最新版)
09
Window 10部署openclaw报错node.exe : npm error code 128
10
OpenClaw大龙虾机器人完整安装教程