从 huggingFace 下载大模型命令备忘

假设是为2张 2080Ti显卡 (11GB/GPU)下载一个10GB左右的模型

1. 安装:hf

bash 复制代码
pip install -U huggingface_hub -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

2. 登陆:

bash 复制代码
hf auth login

需要hf的token

3. 下载一个QWen 小模型

bash 复制代码
hf download Qwen/Qwen2.5-14B-Instruct-AWQ \
  --local-dir ./data/models/Qwen2.5-14B-Instruct-AWQ

4. 启动大模型推理

CUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server

--model-path /data/models/Qwen2.5-14B-Instruct-AWQ

--tp 2

--dtype float16

--host 0.0.0.0

--port 30000

--context-length 8192

--mem-fraction-static 0.80

5. 综述

推荐 Qwen/Qwen2.5-14B-Instruct-AWQ。它是 14B 指令模型的 4bit AWQ 量化版,中文、代码和日常问答能力比较均衡,SGLang 也支持该模型。

双 2080 Ti 共有 22GB 显存,使用 --tp 2 分摊权重后,还能给 KV Cache 留出一定空间。不要选未量化的 14B FP16/BF16 版本,仅权重就约 28GB,无法放进这 22GB 显存。

下载模型

bash 复制代码
pip install -U huggingface_hub

hf download Qwen/Qwen2.5-14B-Instruct-AWQ \
  --local-dir /data/models/Qwen2.5-14B-Instruct-AWQ

模型文件大约 10GB,建议预留至少 20GB 磁盘空间。

双卡启动

bash 复制代码
CUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server \
  --model-path /data/models/Qwen2.5-14B-Instruct-AWQ \
  --tp 2 \
  --dtype float16 \
  --host 0.0.0.0 \
  --port 30000 \
  --context-length 8192 \
  --mem-fraction-static 0.80

这里特别建议加上 --dtype float16,因为 2080 Ti 不适合使用 BF16。先用 8192 上下文比较稳妥,确认显存充足后再尝试增加。

如果出现显存不足,可以改成:

bash 复制代码
  --context-length 4096 \
  --mem-fraction-static 0.70

如果出现 CUDA Graph 或注意力后端相关报错,再尝试添加:

bash 复制代码
  --disable-cuda-graph \
  --attention-backend triton

不建议这套显卡强上 32B AWQ :虽然权重可能勉强塞入,但剩余显存太少,上下文和并发会受到明显限制。双 2080 Ti 上,14B AWQ 是更稳妥的选择。

相关推荐
XLYcmy19 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
泯泷20 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
XLYcmy21 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
M--Y1 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
xyphf_和派孔明1 天前
第十章: LangGraph的人机交互Human-in-the-loop实践
langchain·llm
泯泷1 天前
AI Agent 工具设计:给模型装上“手脚”,为什么不能只会调用 API?
人工智能·llm·agent
xyphf_和派孔明1 天前
第六章: LangGraph的工具调用代理-Tool Calling Agent
langchain·llm
泯泷1 天前
AI Agent 工具设计:能执行任务的 Agent,先要学会何时停手
llm·agent
土豆12502 天前
dsh-orchestrator 介绍与使用实践:让你的 AI 从「一个人硬扛」到「带团队干活
llm·ai编程·deepseek
M--Y2 天前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph