Ubuntu 22.04 AI大模型环境配置及常用工具安装

一、基础环境准备

1.1 系统准备

建议使用 Ubuntu22.04

以下配置皆以 Ubuntu22.04 系统版本为例

1.2 安装git

bash 复制代码
  apt-get update && apt-get install git -y

1.3 安装 Python 3.9+

建议安装 3.10】(安装miniconda或者conda来管理虚拟环境)

bash 复制代码
  wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && chmod +x Miniconda3-latest-Linux-x86_64.sh && ./Miniconda3-latest-Linux-x86_64.sh && source ~/.bashrc 

1.4 安装CUDA

目前 Pytorch 官网提示支持 11.8、12.4、12.6【建议 11.8或者 12.4

bash 复制代码
  # CUDA Toolkit Installer-12.4
  wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
  sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
  wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
  sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
  sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
  sudo apt-get update
  sudo apt-get -y install cuda-toolkit-12-4
  
  # 安装驱动
  sudo apt-get install -y cuda-drivers
  
  # 设置环境变量(注意cuda安装的路径)
  echo 'export PATH="/usr/local/cuda-12.4/bin${PATH:+:${PATH}}"' >> ~/.bashrc
  source ~/.bashrc  # 重新加载配置
  echo $PATH | grep cuda-12.4 # 验证 PATH
  
  reboot
    
  # 重启后验证是否可以获取 nvidia 显卡信息
  nvcc --version
  nvidia-smi

1.5 安装CUDNN

下载匹配cuda12.4、ubuntu适用的cudnn包

bash 复制代码
  wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
  sudo dpkg -i cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
  sudo cp /var/cudnn-local-repo-ubuntu2204-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/
  sudo apt-get update
  sudo apt-get -y install cudnn
  
  # 使用以下命令进行查看
  ldconfig -p | grep cudnn

1.6 安装Pytorch【可选】

bash 复制代码
# 创建基础环境
conda create -n ai python==3.12 -y && conda activate ai
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

1.7 创建基础目录

bash 复制代码
  mkdir -p ~/work/ai/models ~/work/ai/datasets ~/work/ai/tools/

二、大模型部署框架

2.1 安装Ollama【可选】

  • ollama只支持GGUF格式 的模型,如果在modelscope
    或者huggingface下载模型,需要注意模型格式(GGUF一般指的是量化后的模型,缺点是模型效果变差,优势是模型会更小,推理速度会更快,对硬件要求会更低)
  • mac以及windows上是直接下载客户端
  • ollama一般针对的是个人用户
bash 复制代码
  conda create -n ollama python==3.10 -y && conda activate ollama
  cd ~/work/ai/tools && curl -fsSL https://ollama.com/install.sh | sh
  # 启动ollama服务(开启的端口默认是11434)
  ollama serve
  # 列出已下载的模型
  ollama list
  # 运行模型(没有的话会从modelscope下载)
  ollama run qwen2.5:0.5b

2.2 安装vLLM【可选】

vLLM 是一个 Python 库,它包含预编译的 C++ 和 CUDA (12.1) 二进制文件。

通过 PagedAttention 等技术优化 GPU 内存使用,显著提升推理速度

  • 推理性能高,适合实时和大规模推理任务
  • 支持分布式推理,适合生产环境
  • 兼容 Hugging Face 的 Transformer 模型

要求:
1.操作系统:Linux
2.Python: 3.8 -- 3.12
3.GPU: 计算能力 7.0 或更高(例如,V100、T4、RTX20xx、A100、L4、H100 等)

bash 复制代码
  conda create -n vllm python=3.10 -y && conda activate vllm  
  pip install vllm
  # 运行模型(开启的端口默认是8000)
  vllm serve /path/to/model
  # 显存不足建议使用以下命令启动(测试机显卡为8G 3070ti)
  # 先强制释放残留显存
  python -c "import torch; torch.cuda.empty_cache()"
  # 在进行启动(以Qwen/Qwen2.5-0.5B-Instruct为例)
  vllm serve ~/work/ai/models/Qwen/Qwen2.5-0.5B-Instruct \
  --gpu-memory-utilization 0.95 \
  --max-model-len 1024 \
  --block-size 16 \
  --max-num-seqs 4 \
  --tensor-parallel-size 1

2.3 安装LMDeploy【可选】

LMDeploy 是一个高效且友好的 LLMs 模型部署工具箱,功能涵盖了量化、推理和服务

  • 功能全面,支持从训练到部署的全流程
  • 提供模型压缩和加速技术,适合资源受限的场景

要求:
1.操作系统:windows、linux
2.Python: 3.8 -- 3.12

bash 复制代码
  conda create -n lmdeploy python=3.12 -y && conda activate lmdeploy
  pip install lmdeploy partial_json_parser
  # 运行模型(开启的端口默认是23333)
  lmdeploy serve api_server /path/to/model

三、大模型微调框架

3.1 安装LLaMA-Factory【可选】

  • LLaMA-Factory 推荐使用python3.10
bash 复制代码
  conda create -n llamafactory python==3.10 -y && conda activate llamafactory
  cd ~/work/ai/tools && git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git && cd LLaMA-Factory && pip install -e .  
  # 使用可视化界面微调
  llamafactory-cli webui
复制代码
  使用流程
     1. 下载model
     2. 下载data/data格式处理
     3. 开始微调

四、大模型前端框架

4.1 安装OpenWebui

  • OpenWebui 要求使用python3.11
bash 复制代码
  conda create -n openwebui python==3.11 -y && conda activate openwebui
  pip install -U open-webui torch transformers
  
  # 运行ollama
  ollama serve
  # 运行open-webui
  export HF_ENDPOINT=https://hf-mirror.com
  export ENABLE_OLLAMA_API=True
  export OPENAI_API_BASE_URL=http://127.0.0.1:11434/v1
  open-webui serve
  # 启动浏览器(http://localhost:8080)

推荐使用优云智算平台进行GPU实例部署

相关推荐
阙芸2 小时前
深入理解“回调地狱“(Callback Hell)
linux·运维·ubuntu
风好衣轻1 天前
【环境配置】在Ubuntu Server上安装5090 PyTorch环境
linux·pytorch·ubuntu
ldinvicible1 天前
基于ARM ubuntu如何进行交叉编译
arm开发·数据库·ubuntu
小妖6661 天前
ubuntu 22.04 更换阿里源 (wsl2 参照)
linux·运维·ubuntu
黑客飓风1 天前
Ubuntu崩溃修复大赛的技术文章大纲
linux·运维·ubuntu
楼台的春风1 天前
【Linux驱动开发 ---- 4_驱动开发框架和 API】
linux·c语言·c++·人工智能·驱动开发·嵌入式硬件·ubuntu
楼台的春风1 天前
【Linux驱动开发 ---- 1.1_Linux 基础操作入门】
linux·c语言·c++·人工智能·驱动开发·嵌入式硬件·ubuntu
皓月盈江1 天前
国产Linux银河麒麟操作系统安装开源免费Draw.io(diagrams.net)替代Visio
linux·ubuntu·开源·draw.io·visio·银河麒麟操作系统·diagrams.net
CBCU1 天前
关于ubuntu环境下vscode进行debug的随笔
linux·vscode·ubuntu
우 유1 天前
【ing】Ubuntu安装Anaconda及环境配置\docker\pycharm
linux·运维·ubuntu