Ubuntu安装llama.cpp

第一步:安装 NVIDIA 驱动与 CUDA 环境

首先要让 Ubuntu 识别并能调用你的 3060 显卡。

1.安装驱动:

bash 复制代码
sudo ubuntu-drivers install
sudo reboot  # 重启以生效

重启后,输入 nvidia-smi。如果看到 3060 的显卡信息,说明驱动 OK。

2.安装构建工具与 CUDA Toolkit:

bash 复制代码
sudo apt update
sudo apt install -y build-essential cmake git libcurl4-openssl-dev nvidia-cuda-toolkit

确认编译器已就绪:输入 nvcc --version。

第二步:编译 llama.cpp (开启 CUDA 支持)

这是核心步骤,必须开启显卡加速选项。

bash 复制代码
# 1. 克隆代码
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 2. 配置并构建(指定开启 CUDA)
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j $(nproc)

第三步:运行与测试

将你的 *.gguf 模型文件放入 models 文件夹。

bash 复制代码
export LD_LIBRARY_PATH=/opt/llama.cpp/build/bin:$LD_LIBRARY_PATH

/opt/llama.cpp/build/bin/llama-server \
    -m /opt/llama.cpp/models/*.gguf \
    --port 8080 \
    --host 0.0.0.0 \
    -ngl 33 \
    --ctx-size 8192
相关推荐
测试界的小码农13 小时前
【Linux 命令实战(06):Linux 文件权限管理,掌握 chmod、chown、chgrp】
linux·运维·服务器
一条破秋裤15 小时前
【1114】【并发控制】【笔记】
linux
2035去旅行16 小时前
ADB的底层原理
linux·adb·嵌入式·arm·soc
武子康16 小时前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
女神下凡17 小时前
芯参谋(107):杰理AC_中科蓝讯_开发指南
linux·服务器·网络·单片机·嵌入式硬件
落羽的落羽17 小时前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
爱和冰阔落21 小时前
【Linux网络】TCP 半包粘包怎么解决?从长度报头、JSON 拆包到网络计算器完整实战
linux·运维·网络·tcp/ip
say_fall1 天前
【Linux网络编程】UDP套接字编程:系统编程组件、基础回显服务、InetAddr与地址转换、翻译服务与线程池聊天室
linux·服务器·网络·udp·vr
ö Constancy1 天前
一台电脑的硬件组成与作用:按功能分类详解(Windows 与 Linux 视角)
linux·windows·电脑
江湖有缘1 天前
基于Ubuntu部署SoduWork:企业级 AI 原生协同平台实战全流程
linux·人工智能·ubuntu·ai·soduwork