技术栈
rtx3090
论文复现现场
3 小时前
模型量化
·
vllm
·
大模型推理
·
awq
·
算家云
·
rtx3090
RTX 3090 如何跑 13B 级大模型推理？4-bit AWQ、vLLM 部署与并发调优实战
更新时间：2026 年 9 月 20 日 适用环境：Linux、NVIDIA RTX 3090 24GB、Docker、CUDA 驱动
我是有底线的