大模型部署基础设施搭建 - LlamaFactory

参考：https://llamafactory.readthedocs.io/

一、系统

windows11

注意选择自定义安装，全选

bash 复制代码

nvcc -V

bash 复制代码

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

bash 复制代码

llamafactory-cli version

bash 复制代码

llamafactory-cli webui

bash 复制代码

http://localhost:7860/

bash 复制代码

llamafactory-cli webui --force_cpu

（1）卸载当前的 CPU 版 PyTorch

bash 复制代码

pip uninstall -y torch torchvision torchaudio

（2）安装与 CUDA 12.4 兼容的 GPU 版 PyTorch

bash 复制代码

pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

（3）验证安装

bash 复制代码

python -c "import torch; print(f'PyTorch版本: {torch.__version__}\nCUDA可用: {torch.cuda.is_available()}')"

（4）卸载当前GPU版本PyTorch

bash 复制代码

pip uninstall -y torch torchvision torchaudio

（5）安装CPU版本PyTorch

bash 复制代码

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

（6）验证安装

bash 复制代码

python -c "import torch; print(f'PyTorch版本: {torch.__version__}\nCUDA可用: {torch.cuda.is_available()}')"