1. 概述
基于OneAPI的二次开发,支持更多的模型协议。新一代大模型网关与AI资产管理系统。
主要特性:请参见github README文件。
模型支持(额外支持):
- 第三方模型 gpt (gpt-4-gizmo-*)
- Midjourney-Proxy(Plus)接口,对接文档
- 自定义渠道,支持填入完整调用地址
- Suno API 接口,对接文档
- Rerank模型,目前支持Cohere和Jina,对接文档
- Dify
- Coze等
2. 部署实施
2.1 最新版本及要求
最新版Docker镜像:calciumion/new-api:latest
默认账号root 密码123456
数据库要求:
- 本地数据库(默认):SQLite(Docker 部署默认使用 SQLite,必须挂载
/data目录到宿主机) - 远程数据库:MySQL 版本 >= 5.7.8,PgSQL 版本 >= 9.6
2.2 使用Docker Compose部署
# Clone the project
git clone https://github.com/QuantumNous/new-api.git
cd new-api
# Edit docker-compose.yml configuration
# nano docker-compose.yml
# vim docker-compose.yml
# 主要是在生产环境,主要更新如下:
1)服务端口 3000
2)调整postgresql数据库的默认密码:newapi.1q2
3)调整 container_name: new-api-redis,container_name: new-api-postgres
# 在服务器上建立目录 newapi
# 将编辑后的 docker-compose.yml 拷贝到服务器
# 执行
docker compose up -d
# 停止服务
docker compose down

3. 系统使用
3.1 初始化
1)端口配置
本地使用端口 3000(可以根据需要修改)。
2)管理员账号
首次打开,需要进行管理员账户的设置。
3)选择模式
企业内部或者个人,可以选择"自用模式"。这个配置可以在 系统设置--运营设置--通用设置 中修改。
4)配置登录注册
在 系统设置--系统设置 中 关闭新用户注册、密码注册。
3.2 渠道管理
1)添加渠道,其中渠道密钥,如果是OLLAMA本地部署,则可以随便输入即可。其他GLM,QWEN等,需要输入对应的密钥。
然后选择该渠道中的模型。点击"获取模型列表"自动加载可用模型,或手动 输入自定义模型名称(因为有些在OLLAMA的模型名称,可能是自行定义)。
2)针对阿里云百炼平台 (https://bailian.console.aliyun.com/),添加渠道时,因为NewAPI平台只有阿里通义千问,没有百炼,所以处理时类型选择 OpenAI,密钥填写在百炼的KEY,API地址输入百炼平台的API URL(https://dashscope.aliyuncs.com/compatible-mode),按提示不用添加 / 或者 /v1,然后获取模型列表。测试时注意设置 enable_thinking 为 false,否则报错。