vllm推理服务指标监控看板搭建手册

vllm推理服务指标监控看板搭建

组件： prometheus+grafana+vllm-metrics

1.环境准备

1.1 prometheus

安装

tar -xvf prometheus-2.54.1.linux-arm64.tar.gz

cd prometheus-2.54.1.linux-arm64

修改prometheus.yml ，新增vllm服务的metric 路径

scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'

    # scheme defaults to 'http'.



static_configs:

      - targets: ["localhost:9090"]

  - job_name: "vllm_qwen2.5-7b"

    static_configs:

      - targets: ["127.0.0.1:31005"]

服务启动

./prometheus --config.file=prometheus.yml              --storage.tsdb.path=./data              --web.listen-address=:9090              --web.enable-lifecycle

1.2 grafana

下载压缩包，解压后可直接执行

wget https://dl.grafana.com/oss/release/grafana-11.4.0.linux-arm64.tar.gz
tar xvf grafana-11.4.0.linux-arm64.tar.gz
cd grafana-11.4.0.linux-arm64

服务启动

export GF_SERVER_HTTP_PORT=10028

$ ./bin/grafana-server --config conf/defaults.ini --homepath ./

登陆页面

端口：10028

登陆账号密码：admin/admin (初始密码)

2. 看板配置

2.1 新增数据源

地址栏输入 http://127.0.0.1:10028/connections/datasource

配置Prometheus server

http://127.0.0.1:9090

点击 save保存

2.2 导入仪表盘

地址栏输入 http://30.189.250.94:10028/dashboard/import

上传grafana.json文件

已配置的grafana.json如下：

pronetheus看板模版

3.效果展示