vllm推理服务指标监控看板搭建手册

vllm推理服务指标监控看板搭建

组件: prometheus+grafana+vllm-metrics

1.环境准备

1.1 prometheus

安装

bash 复制代码
tar -xvf prometheus-2.54.1.linux-arm64.tar.gz

cd prometheus-2.54.1.linux-arm64

修改prometheus.yml ,新增vllm服务的metric 路径

bash 复制代码
scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'

    # scheme defaults to 'http'.



static_configs:

      - targets: ["localhost:9090"]

  - job_name: "vllm_qwen2.5-7b"

    static_configs:

      - targets: ["127.0.0.1:31005"]

服务启动

bash 复制代码
./prometheus --config.file=prometheus.yml              --storage.tsdb.path=./data              --web.listen-address=:9090              --web.enable-lifecycle

1.2 grafana

下载压缩包,解压后可直接执行

bash 复制代码
wget https://dl.grafana.com/oss/release/grafana-11.4.0.linux-arm64.tar.gz
tar xvf grafana-11.4.0.linux-arm64.tar.gz
cd grafana-11.4.0.linux-arm64

服务启动

bash 复制代码
export GF_SERVER_HTTP_PORT=10028

$ ./bin/grafana-server --config conf/defaults.ini --homepath ./

登陆页面

端口:10028

登陆账号密码:admin/admin (初始密码)

2. 看板配置

2.1 新增数据源

地址栏输入 http://127.0.0.1:10028/connections/datasource

配置Prometheus server

http://127.0.0.1:9090

点击 save保存

2.2 导入仪表盘

地址栏输入 http://30.189.250.94:10028/dashboard/import

上传grafana.json文件

已配置的grafana.json如下:

pronetheus看板模版

3.效果展示

相关推荐
武子康27 分钟前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea1 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen1 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷2 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘2 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术2 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人3 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界3 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术3 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和3 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能