简单prometheus+grafana+pushgateway采集GPU利用率和交换机流量

1、prometheus+pushgateway

https://prometheus.io/download/下载prometheus和pushgateway

下载后修改prometheus.yaml

pushgateway需要设置honor_labels: true才能保留原来的job、instance等

然后启动:./prometheus --config.file="./prometheus.yml"

./pushgateway

访问pushgateway:http://x.x.x.x:9091

查看pushgateway数据:http://x.x.x.x:9091/metrics

注意:pushgateway只保留最后一次推送的值,prometheus拉取的时候也是拉取pushgateway当前存储的值

查看prometheus:http://x.x.x.x:9090

Status->Targets里面可以检查目标状态、上次拉取时间等

注意:http://x.x.x.x:9090/metrics并不能查看到所有表项

2、grafana

grafana安装:

apt-get install -y software-properties-common

wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -

add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"

apt install grafana

systemctl start grafana-server

systemctl enable grafana-server

登录:http://x.x.x.x:3000

用户名密码admin admin

有的exporter源码会提供grafana配置文件,比如dcgm-exporter中:

dcgm-exporter\grafana\dcgm-exporter-dashboard.json

在Home->Dashboards->New->Import中导入json就可以看到图形

修改Y轴的单位

对应panel右上角三个点中选择Edit,Standard options,Uint中选择(忘了。。待确认)

安装dcgm-exporter

https://github.com/NVIDIA/dcgm-exporter

下载源码,然后:

kubectl create namespace gpu-monitoring

kubectl apply dcgm-exporter/service-monitor.yaml

kubectl apply dcgm-exporter/dcgm-exporter.yaml -n gpu-monitoring

创建nodeport并提交

c 复制代码
apiVersion: v1
kind: Service
metadata:
  name: dcgm-exporter
  namespace: gpu-monitoring
spec:
  selector:
    app.kubernetes.io/name: dcgm-exporter
  ports:
  - port: 9400
    targetPort: 9400
    nodePort: 30094
  type: NodePort

测试:curl http://localhost:30094/metrics

问题1:

c 复制代码
error: resource mapping not found for name: "dcgm-exporter" namespace: "" from "service-monitor.yaml": no matches for kind "ServiceMonitor" in version "monitoring.coreos.com/v1"
ensure CRDs are installed first

下载https://github.com/prometheus-operator/prometheus-operato,提交prometheus-operator\\prometheus-operator\\example\\prometheus-operator-crd\\monitoring.coreos.com_servicemonitors.yaml

相关推荐
运维栈记2 天前
使用Grafana监控K8S中的异常Pod
docker·kubernetes·grafana
韩宏伟2 天前
使用 Loki + Promtail + Grafana 实现 Docker 容器日志采集与可视化
docker·容器·grafana
恋上钢琴的虫3 天前
使用 Loki + Promtail + Grafana搭建日志系统
运维·grafana
心一信息3 天前
grafana及zabbix在linux上的部署
linux·zabbix·grafana
m0_736927043 天前
从被动救火到主动预警,用 Prometheus + Alertmanager 跑通告警闭环
prometheus
Jabes.yang5 天前
Java求职面试: 互联网医疗场景中的缓存技术与监控运维应用
java·redis·spring security·grafana·prometheus·oauth2·互联网医疗
川石课堂软件测试5 天前
自动化测试之 Cucumber 工具
数据库·功能测试·网络协议·测试工具·mysql·单元测试·prometheus
K_i1345 天前
负载均衡:运维高可用的核心技术
负载均衡·grafana·prometheus
爱技术的小伙子5 天前
【Linux运维】 Prometheus + Grafana + Alertmanager 监控系统部署指南(CentOS & Ubuntu 通用版)
linux·运维·prometheus
川石课堂软件测试5 天前
MySQL数据库之DBA命令
数据库·网络协议·mysql·http·单元测试·prometheus·dba