CentOS系统高效部署fastGPT全攻略

系列文章目录

文章目录

系列文章目录
一、引言
二、环境准备
- - 系统要求;
  - 基础依赖安装
  - [Python 环境配置](#Python 环境配置)
[三、fastGPT 部署流程](#三、fastGPT 部署流程)
四、系统配置优化
五、服务启动与管理
六、验证与测试
- - 健康检查端点测试
  - [API 功能测试用例](#API 功能测试用例)
  - 压力测试方案

一、引言

fastGPT 是一款高效、灵活的大语言模型应用框架，凭借其出色的推理速度和良好的扩展性，在智能客服、文本生成、知识问答等众多领域都有着广泛的应用场景。它能够快速响应用户的请求，生成高质量的文本内容，满足不同行业的多样化需求。

在企业级应用适配性上，CentOS 系统兼容大量的企业级软件和工具，能够与企业现有的 IT 基础设施无缝集成。许多企业的服务器环境都基于 CentOS 搭建，采用 CentOS 部署 fastGPT 可以降低与现有系统的整合成本，提高部署效率，满足企业级应用的严格要求。

二、环境准备

系统要求;

在 CentOS 版本选择上，CentOS 7 和 CentOS 8 都是可行的选择。CentOS 7 具有广泛的软件支持和成熟的生态系统，适合对稳定性和兼容性要求较高的场景；CentOS 8 则引入了一些新的特性和更新的软件包，对于需要使用较新功能的用户更为合适。不过，由于 CentOS 8 的支持周期相对较短，在选择时需考虑长期维护需求。

硬件资源方面，建议 CPU 至少为 4 核及以上，以保证 fastGPT 的高效运行；RAM 应不低于 8GB，充足的内存可以提升模型的加载速度和处理能力；存储方面，由于需要存储模型文件和相关数据，建议使用至少 100GB 的固态硬盘（SSD），以提高数据读写速度。

基础依赖安装

执行以下命令安装基础依赖：

java 复制代码

sudo yum install -y git python3-devel gcc make openssl-devel

这些依赖是 fastGPT 运行和编译过程中所必需的，git 用于获取源码，python3-devel、gcc、make 等用于编译相关组件，openssl-devel 则提供了加密相关的功能支持。

Python 环境配置

需要安装 Python 3.8 及以上版本。可以通过源码编译或使用软件源的方式进行安装。以源码安装为例，从 Python 官网下载对应版本的源码包，解压后进入目录，执行以下命令：

java 复制代码

./configure --prefix=/usr/local/python3
make && sudo make install

安装完成后，配置环境变量，将 Python 3.8 的路径添加到 PATH 中。

创建并管理虚拟环境：

java 复制代码

python3 -m venv fastgpt_env
source fastgpt_env/bin/activate

虚拟环境可以隔离不同项目的依赖，避免版本冲突，提高环境的稳定性。激活虚拟环境后，后续安装的依赖将仅在该环境中生效。

三、fastGPT 部署流程

源码获取与验证

通过以下命令获取 fastGPT 源码并切换到稳定版本：

java 复制代码

git clone https://github.com/fastgpt/official-repo.git

cd official-repo && git checkout stable-v1.0

获取源码后，建议进行验证，检查源码的完整性和正确性，确保后续部署过程的顺利进行。

依赖库安装

在激活的虚拟环境中，执行以下命令安装依赖库：

java 复制代码

pip install -r requirements.txt --no-cache-dir

--no-cache-dir 选项可以避免使用缓存，确保安装的是最新版本的依赖库。requirements.txt 文件中列出了 fastGPT 运行所需的所有依赖及其版本信息。

模型文件部署

预训练模型可以从官方指定的渠道或可信的模型仓库下载。下载完成后，需要配置模型存储路径。在 config.yaml 文件中进行如下配置：

复制代码

#config.yaml示例

model_path: "/opt/fastgpt/models/gpt-4b"

将模型文件放置在指定的路径下，确保 fastGPT 能够正确加载模型。

四、系统配置优化

服务端口配置;

在配置文件中设置服务的主机和端口：

java 复制代码

server:
	host: 0.0.0.0
	port: 8080

0.0.0.0 表示监听所有网络接口，使服务可以被外部访问；8080 为服务端口，可根据实际需求进行修改。

安全加固措施;

配置 SSL/TLS 证书可以加密服务通信，提高安全性。可以使用 Let's Encrypt 等工具获取免费的 SSL 证书，并在配置文件中指定证书路径。

设置防火墙规则，开放所需端口：

java 复制代码

firewall-cmd --permanent --add-port=8080/tcp


firewall-cmd --reload

这样可以限制只有指定端口的流量能够进入系统，增强系统的安全性。

资源限制调整

修改文件描述符上限，编辑 /etc/security/limits.conf 文件，添加如下内容：

java 复制代码

 soft nofile 65536

 hard nofile 65536

这可以提高系统同时打开文件的数量限制，避免因文件描述符不足导致的问题。

优化 SWAP 空间，根据内存大小适当设置 SWAP 分区的大小，当物理内存不足时，SWAP 空间可以作为临时内存使用，提高系统的稳定性。

五、服务启动与管理

直接启动方式

执行以下命令直接启动 fastGPT 服务：

java 复制代码

python main.py --config prod\_config.yaml

这种方式适用于测试和临时启动服务，关闭终端后服务会停止。

系统服务化部署;

编写 systemd 服务文件，例如创建 /etc/systemd/system/fastgpt.service 文件，内容如下：

java 复制代码

[Unit]

Description=FastGPT Service
After=network.target
[Service]
ExecStart=/opt/fastgpt/env/bin/python /opt/fastgpt/main.py
WorkingDirectory=/opt/fastgpt/official-repo
User=username
Group=username
Restart=always
[Install]
WantedBy=multi-user.target

其中，ExecStart 指定了服务的启动命令，WorkingDirectory 设置工作目录，User 和 Group 指定运行服务的用户和组，Restart=always 表示服务异常退出时自动重启。

然后执行以下命令启用并启动服务：

java 复制代码

sudo systemctl daemon-reload
sudo systemctl enable fastgpt
sudo systemctl start fastgpt

通过系统服务化部署，可以实现服务的自动启动和管理，提高服务的可靠性。

日志监控方案

使用 Journalctl 管理日志，执行以下命令查看 fastGPT 服务的日志：

java 复制代码

journalctl -u fastgpt.service -f

-f 选项可以实时查看日志输出。

配置日志轮转，创建 /etc/logrotate.d/fastgpt 文件，内容如下：

java 复制代码

/var/log/fastgpt/\*.log {
   daily
   missingok
   rotate 7
   compress
   delaycompress
   notifempty
   create 0640 username username
}

这样可以定期轮转日志文件，避免日志文件过大占用过多磁盘空间。

六、验证与测试

健康检查端点测试

执行以下命令进行健康检查：

java 复制代码

curl http://localhost:8080/health

如果返回健康状态信息，说明服务运行正常。

API 功能测试用例

发送如下 API 请求进行功能测试：

java 复制代码

{
 "prompt": "CentOS系统优势包括",
 "max_tokens": 50
}

检查返回结果是否符合预期，验证 API 的基本功能是否正常。

压力测试方案

使用 Locust 进行压力测试，编写 Locust 脚本示例（locustfile.py）：

java 复制代码

from locust import HttpUser, task, between
class FastGPTUser(HttpUser):
   wait_time = between(1, 3)
  @task
   def test_api(self):
      self.client.post("/api/generate", json={
          "prompt": "测试内容",
          "max_tokens": 50
       })

运行 Locust 进行测试，分析 QPS（每秒查询率）等性能指标，评估 fastGPT 在高并发情况下的表现。