技术栈
[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency
心心喵
2024-09-14 18:54
接 LLM大模型剪枝篇,开启LLM端侧小模型篇的极致0成本部署之路~!!!!
剪枝效果
量化效果
推理框架
MLC-LLM:编译器方式推理,跨平台可用推理框架
https://huggingface.co/mlc-ai
人工智能
上一篇:
详细分析linux中的MySql跳过密码验证以及Bug(图文)
下一篇:
【BUG报错已解决】`ERROR: Failed building wheel for jupyter-nbextensions-configurator`
相关推荐
蹦蹦跳跳真可爱589
1 小时前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能
·
pytorch
·
python
·
深度学习
·
分类
蚂蚁2014
3 小时前
卷积神经网络(二)
人工智能
·
计算机视觉
z_mazin
5 小时前
反爬虫机制中的验证码识别:类型、技术难点与应对策略
人工智能
·
计算机视觉
·
目标跟踪
lixy579
6 小时前
深度学习3.7 softmax回归的简洁实现
人工智能
·
深度学习
·
回归
youhebuke225
6 小时前
利用deepseek快速生成甘特图
人工智能
·
甘特图
·
deepseek
訾博ZiBo
6 小时前
AI日报 - 2025年04月26日
人工智能
郭不耐
6 小时前
DeepSeek智能时空数据分析(三):专业级地理数据可视化赏析-《杭州市国土空间总体规划(2021-2035年)》
人工智能
·
信息可视化
·
数据分析
·
毕业设计
·
数据可视化
·
城市规划
AI军哥
6 小时前
MySQL8的安装方法
人工智能
·
mysql
·
yolo
·
机器学习
·
deepseek
余弦的倒数
6 小时前
知识蒸馏和迁移学习的区别
人工智能
·
机器学习
·
迁移学习
Allen Bright
6 小时前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能
·
机器学习
·
线性回归
热门推荐
01
KGG转MP3工具|非KGM文件|解密音频
02
从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑
03
我决定放弃搞 Java 了
04
YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU
05
YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】
06
DeepSeek各版本说明与优缺点分析
07
西电B测-计算机网络综合实验(含验收问题)
08
yolov8,yolo11,yolo12 服务器训练到部署全流程 笔记
09
苍穹外卖面试总结
10
2025tg最新免费社工库机器人