ubuntu22.04离线跑Unsloth UD‑Q4_K_XL

一、外网机器准备物料

首先在联网机器下载好Unsloth UD‑Q4_K_XL,155GB,脚本可能会多次退出,重新运行就好。

复制代码
pip uninstall -y huggingface-hub
pip install huggingface-hub==0.29.3
# 清除旧代理
unset HTTP_PROXY HTTPS_PROXY ALL_PROXY http_proxy https_proxy all_proxy
unset HF_HUB_ENABLE_HF_TRANSFER

# 设置国内镜像(hf‑mirror公益镜像)
export HF_ENDPOINT=https://hf-mirror.net

# 下载 Unsloth UD‑Q4_K_XL
huggingface-cli download unsloth/DeepSeek-V4-Flash-0731-GGUF \
  --include "UD-Q4_K_XL/*" \
  --local-dir ./DeepSeek-V4-Flash-0731-UDQ4_K_XL \
  --local-dir-use-symlinks False \
  --resume-download

拉取固定版本 llama.cpp b10269 源码

复制代码
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git checkout b10269
# 打包源码
cd ..
tar -zcvf llama.cpp-b10269.tar.gz llama.cpp

下载 Ubuntu22.04 编译依赖(外网下载 deb 包,拷贝离线)

复制代码
sudo apt update
sudo apt install --download-only -y build-essential cmake gcc g++ libopenblas-dev
# deb包默认缓存路径:/var/cache/apt/archives/
# 把该目录全部deb复制出来,打包为 debs.tar.gz

离网机器预先装好 NVIDIA 驱动 + CUDA‑Toolkit12.x

二、离线 Ubuntu22.04 操作(无外网)

1、安装系统依赖 deb 包

复制代码
mkdir debs
tar xvf debs.tar.gz -C debs
cd debs
sudo dpkg -i *.deb
# 如有依赖缺失:sudo apt‑get install -f (内网不能执行,外网要把全部依赖下全)

2、解压编译 llama.cpp b10269(CUDA 版本)

复制代码
tar -zxvf llama.cpp-b10269.tar.gz
cd llama.cpp

# 清理旧构建
rm -rf build

# CUDA编译,离线不需要联网
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j$(nproc)

3、llama‑cli 快速验证

复制代码
CUDA_VISIBLE_DEVICES=0,1 ./build/bin/llama-cli \
-m ./DeepSeek-V4-Flash-0731-UDQ4_K_XL/UD-Q4_K_XL/DeepSeek-V4-Flash-0731-UD-Q4_K_XL-00001-of-00005.gguf \
--jinja \
-ngl 999 \
-c 65536 \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
-p "简单介绍你自己" -n 30

加载日志会打印:Using 2 CUDA devices。能输出文字代表成功。

相关推荐
世界是一片荒原13 小时前
给 DeepSeek Harness 做多会话工作台:四格原生会话、Agent 脉络图与压缩预警
deepseek
AI英德西牛仔1 天前
智谱清言导出word指令失效?PC端深度用户正在用“AI导出鸭”重构内容归档流
人工智能·重构·word·excel·deepseek·ai导出鸭
Jahzo2 天前
DSH 客户端二开实战(四):业务登录如何接入原生桌面与本地 Host
架构·deepseek
小七-七牛开发者2 天前
Anthropic:Agent 不必一直运行,也能持续工作
agent·claude·deepseek·anthropic·alwaysonagent
大模型真好玩2 天前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
沉默王二3 天前
真狠啊,DeepSeek 开放全家桶 API。
人工智能·agent·deepseek
XLYcmy4 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
CS_Zero4 天前
DeepSeek V4.1 Flash 1017 (Batch) 新手极速上手指南
开发语言·batch·deepseek
大模型真好玩4 天前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
我才是银古4 天前
chat-demo 源码解析与 DeepSeek 全家桶 API 能力盘点
ai·demo·deepseek