本地部署 mistralai/Mistral-Nemo-Instruct-2407
- [1. 创建虚拟环境](#1. 创建虚拟环境)
- [2. 安装 fschat](#2. 安装 fschat)
- [3. 安装 transformers](#3. 安装 transformers)
- [4. 安装 flash-attn](#4. 安装 flash-attn)
- [5. 安装 pytorch](#5. 安装 pytorch)
- [6. 启动 controller](#6. 启动 controller)
- [7. 启动 mistralai/Mistral-Nemo-Instruct-2407](#7. 启动 mistralai/Mistral-Nemo-Instruct-2407)
- [8. 启动 api](#8. 启动 api)
- [9. 访问 mistralai/Mistral-Nemo-Instruct-2407](#9. 访问 mistralai/Mistral-Nemo-Instruct-2407)
1. 创建虚拟环境
conda create -n fastchat python=3.10 -y
conda activate fastchat
2. 安装 fschat
git clone https://github.com/lm-sys/FastChat.git; cd FastChat
pip install --upgrade pip # enable PEP 660 support
pip install -e .
3. 安装 transformers
# Until a new release has been made, you need to install transformers from source
pip install git+https://github.com/huggingface/transformers.git
4. 安装 flash-attn
pip install packaging
pip uninstall -y ninja && pip install ninja
pip install flash-attn --no-build-isolation
5. 安装 pytorch
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121
6. 启动 controller
python -m fastchat.serve.controller
7. 启动 mistralai/Mistral-Nemo-Instruct-2407
python -m fastchat.serve.model_worker --num-gpus 2 --model-names "mistral-7b,gpt-3.5-turbo,gpt-3.5-turbo-16k,gpt-4,text-davinci-003" --model-path mistralai/Mistral-Nemo-Instruct-2407 --controller http://localhost:21001 --port 31000 --worker-address http://localhost:31000 --max-gpu-memory 16Gib
8. 启动 api
python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000
9. 访问 mistralai/Mistral-Nemo-Instruct-2407
使用 chatbox 配置好访问信息，
问它一个问题，
完结！