需求背景：

1、由于近期IDC资源紧张，采用windows架构

2、trae、灵码都减少体验时间，需要架构自己的OPENAPI,提供token服务

基础知识：

1、ollama\lm studio

2、横向对比

错误提示：

(venv) F:\ExLlamaV2\tabbyAPI>pip install -r requirements.txt

ERROR: Could not open requirements file: $Errno 2$ No such file or directory: 'requirements.txt'

参考资料：

GitHub - theroyallab/tabbyAPI: The official API server for Exllama. OAI compatible, lightweight, and fast. · GitHub

实施步骤：

1、安装

进入tabbyAPI目录

cd F:\ExLlamaV2\tabbyAPI

直接运行官方一键启动脚本（会自动创建/使用venv、安装exllamav2等依赖）

.\start.bat

脚本会自动检测 CUDA、安装 PyTorch、ExLlamaV2、FastAPI 全套依赖
首次运行会比较久，耐心等待下载编译 CUDA 相关包
脚本执行完成后，会直接拉起 TabbyAPI 服务

如果想手动安装（不使用 start.bat）

复制代码

cd F:\ExLlamaV2\tabbyAPI
python -m venv venv
venv\Scripts\activate

# 先装pytorch（CUDA12.1）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 安装exllamav2
pip install exllamav2

# 其余依赖
pip install fastapi uvicorn pydantic pyyaml huggingface_hub transformers jinja2

2、安装进展

3、验证API

http://127.0.0.1:5000/

http://127.0.0.1:5000/redoc

4、备份配置

复制代码

copy config_sample.yml config.yml

5、配置模型

模型放到 models 目录，必须是 EXL2 量化模型，AWQ/GGUF 不能直接加载。

打开 config.yml，修改 model_dir 指向你的 EXL2 模型文件夹

复制代码

model:
  model_dir: "models/Qwen2.5-Coder-7B-Instruct-EXL2"
  max_seq_len: 8192

6、下载模型

模型放到配置的 models 目录，必须是 EXL2 量化模型，AWQ/GGUF 不能直接加载。

在下载前，请先通过如下命令安装ModelScope

pip install modelscope

下载完整模型库

modelscope download --model bartowski/Qwen2.5-Coder-7B-Instruct-exl2

下载单个文件到指定本地文件夹（以下载README.md到当前路径下"dir"目录为例）

modelscope download --model bartowski/Qwen2.5-Coder-7B-Instruct-exl2 README.md --local_dir ./dir

SDK下载

#模型下载 from modelscope import snapshot_download model_dir = snapshot_download('bartowski/Qwen2.5-Coder-7B-Instruct-exl2')

Git下载

git lfs install

git clone https://www.modelscope.cn/bartowski/Qwen2.5-Coder-7B-Instruct-exl2.git

git clone --single-branch --branch 6_5 https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-exl2 Qwen2.5-Coder-7B-Instruct-exl2-6_5

如果您希望跳过 lfs 大文件下载，可以使用如下命令

GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/bartowski/Qwen2.5-Coder-7B-Instruct-exl2.git

网页下载

https://huggingface.co

7、启动服务

默认地址：http://127.0.0.1:5000/v1（⚠️ 注意！新版默认端口是 5000，不是 8000！）

复制代码

venv\Scripts\activate
python main.py

model_providers:
  openai:
    api_key: "local-exl2"
    provider: openai
    base_url: "http://127.0.0.1:5000/v1" # 5000！不是8000

8、验证agent

TabbyAPI+ExLlama

进入tabbyAPI目录

直接运行官方一键启动脚本（会自动创建/使用venv、安装exllamav2等依赖）

如果想手动安装（不使用 start.bat）