使用llama.cpp的Qwen3.6-27B-Q8本地部署详解【Linux GPU】

0. 检查cmake,cuda的安装情况及版本

cmake更新,参考:https://askubuntu.com/questions/829310/how-to-upgrade-cmake-in-ubuntu

cmake --version无结果,ln一下(注意cmake版本):

bash 复制代码
sudo ln -s /usr/local/bin/cmake /usr/bin/cmake

cuda安装,参考:https://blog.csdn.net/qxqsunshine/article/details/161664593

1. 创建文件夹,安装llama.cpp

bash 复制代码
mkdir LLM

cd LLM

git clone https://github.com/ggml-org/llama.cpp

cd llama.cpp

mkdir -p build && cd build

2.编译llama.cpp

bash 复制代码
cd .. # 回到有CMakeLists.txt文件的llama.cpp目录下

cmake ..     -DGGML_CUDA=ON     -DCMAKE_BUILD_TYPE=Release     -DCMAKE_CUDA_ARCHITECTURES="89"     -DGGML_NATIVE=ON
# 此处nvcc --version无结果,就要看看cuda了

cmake --build . --config Release -j $(nproc) 

./bin/llama-cli --help

3. 安装huggingface library并下载模型

bash 复制代码
pip install huggingface_hub 

cd build # 到LLM/llama.cpp/build目录下
# 选择好适合自己的模型
hf download unsloth/Qwen3.6-27B-GGUF Qwen3.6-27B-Q8_0.gguf --local-dir ./models

4.选择适合自己的参数配置,运行模型

bash 复制代码
cd ../../ # 回到LLM目录下

# 这里我选择了深度思考模式,参数配置如下,执行代码运行模型:
./llama.cpp/build/bin/llama-server -m ./llama.cpp/build/models/Qwen3.6-27B-Q8_0.gguf -ngl 999 -c 32768 --temp 1.0 --top-p 0.95 --top-k 20 --min_p 0.0 --host 0.0.0.0 --port 8080
# 保持该界面不要退出,让模型在后端运行
# 检查一下GPU CPU使用情况,确保模型在指定设备运行

5.进入对话界面

在本地网页打开

或者输入主机ip,用其他设备浏览器输入 http:xxx.xxx.xxx.xxx:8080 打开

本文步骤主要参考来源:

https://blog.csdn.net/qxqsunshine/article/details/161664593

https://www.youtube.com/watch?v=EONM2W1gUFY

次要来源:

https://github.com/ZengboJamesWang/Qwen3.5-35B-A3B-openclaw-dgx-spark

https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF

https://unsloth.ai/docs/models/qwen3.6#mtp-qwen3.6-27b

相关推荐
考虑考虑5 小时前
nginx拦截url
运维·后端·nginx
速捷工控 PLC触摸屏还原程序7 小时前
欧姆龙NB上传密码忘了,换屏前怎么保留原程序?
运维·服务器·欧姆龙
方便面不加香菜7 小时前
Docker Volume -- 对照总结及综合实战案例操作演示
运维·docker·容器
爱勇宝8 小时前
SSL 证书别再手动续了:acme.sh + Let's Encrypt + 云厂商 DNS 全自动实战
运维·服务器
数据库小学妹9 小时前
数据库容量规划:四个数与扩容触发线
运维·数据库·后端
dingdingfish9 小时前
TLPI 第52章 读书笔记:POSIX Message Queues
linux·mq·ipc·posix·message·tlpi
wacsii10 小时前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe10 小时前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent
去码头整点薯条9811 小时前
NFS服务器
linux·运维·服务器