技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
星河耀银海
18 小时前
AI学习第一站:从感知到认知,AI到底是什么?
人工智能
·
学习
·
ai
小鸡吃米…
18 小时前
机器学习 - 堆叠集成(Stacking)
人工智能
·
python
·
机器学习
Faker66363aaa
18 小时前
YOLO11改进蚊虫目标检测模型,AttheHead注意力机制提升检测精度
人工智能
·
目标检测
·
计算机视觉
郝学胜-神的一滴
18 小时前
基于30年教学沉淀的清华大学AI通识经典:《人工智能的底层逻辑》
人工智能
·
程序人生
·
机器学习
·
scikit-learn
·
sklearn
OPEN-Source
18 小时前
大模型实战:把 LangChain / LlamaIndex 工作流接入监控与告警体系
人工智能
·
langchain
·
企业微信
·
rag
得物技术
18 小时前
大模型网关:大模型时代的智能交通枢纽|得物技术
人工智能
·
ai
共享家9527
18 小时前
嵌入模型(Embedding)的全方位指南
人工智能
·
机器学习
ViiTor_AI
18 小时前
AI 有声书旁白来了:AI 配音如何重塑有声书制作模式
人工智能
2501_94165277
18 小时前
验证码识别与分类任务_gfl_x101-32x4d_fpn_ms-2x_coco模型训练与优化
人工智能
·
数据挖掘
砍树+c+v
18 小时前
3a 感知机训练过程示例(手算拆解,代码实现)
人工智能
·
算法
·
机器学习
热门推荐
01
GitHub 镜像站点
02
一文了解国产算子编程语言 TileLang,TileLang 对国产开源生态的影响与启示
03
Claude Code Skills 实用使用手册
04
Vue-skills的中文文档
05
OpenCode 入门教程:介绍 · 安装 · 配置第三方 API (如 Claude)
06
OpenClaw部署与配置教程:在Mac mini上接入国产大模型与飞书
07
UV安装并设置国内源
08
Clawdbot 中文汉化版 接入微信、飞书
09
在Trae中使用Pencil MCP
10
2025 年大语言模型发展回顾:关键突破、意外转折与 2026 年展望