从 huggingFace 下载大模型命令备忘

假设是为2张 2080Ti显卡（11GB/GPU）下载一个10GB左右的模型

1. 安装：hf

bash 复制代码

pip install -U huggingface_hub -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

2. 登陆：

bash 复制代码

hf auth login

需要hf的token

3. 下载一个QWen 小模型

bash 复制代码

hf download Qwen/Qwen2.5-14B-Instruct-AWQ \
  --local-dir ./data/models/Qwen2.5-14B-Instruct-AWQ

4. 启动大模型推理

CUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server

--model-path /data/models/Qwen2.5-14B-Instruct-AWQ

--tp 2

--dtype float16

--host 0.0.0.0

--port 30000

--context-length 8192

--mem-fraction-static 0.80

5. 综述

推荐 Qwen/Qwen2.5-14B-Instruct-AWQ。它是 14B 指令模型的 4bit AWQ 量化版，中文、代码和日常问答能力比较均衡，SGLang 也支持该模型。

双 2080 Ti 共有 22GB 显存，使用 --tp 2 分摊权重后，还能给 KV Cache 留出一定空间。不要选未量化的 14B FP16/BF16 版本，仅权重就约 28GB，无法放进这 22GB 显存。

下载模型

bash 复制代码

pip install -U huggingface_hub

hf download Qwen/Qwen2.5-14B-Instruct-AWQ \
  --local-dir /data/models/Qwen2.5-14B-Instruct-AWQ

模型文件大约 10GB，建议预留至少 20GB 磁盘空间。

双卡启动

bash 复制代码

CUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server \
  --model-path /data/models/Qwen2.5-14B-Instruct-AWQ \
  --tp 2 \
  --dtype float16 \
  --host 0.0.0.0 \
  --port 30000 \
  --context-length 8192 \
  --mem-fraction-static 0.80

这里特别建议加上 --dtype float16，因为 2080 Ti 不适合使用 BF16。先用 8192 上下文比较稳妥，确认显存充足后再尝试增加。

如果出现显存不足，可以改成：

bash 复制代码

  --context-length 4096 \
  --mem-fraction-static 0.70

如果出现 CUDA Graph 或注意力后端相关报错，再尝试添加：

bash 复制代码

  --disable-cuda-graph \
  --attention-backend triton

不建议这套显卡强上 32B AWQ ：虽然权重可能勉强塞入，但剩余显存太少，上下文和并发会受到明显限制。双 2080 Ti 上，14B AWQ 是更稳妥的选择。