安装配置pushgateway

环境

主机名 服务器IP 系统 说明

Ubuntu -1 192.168.1.144 Ubuntu.20.04 docker安装Prometheus

docker 192.168.1.140 centos7

1、pushgateway简介

pushgateway是Prometheus生态中一个重要工具,使用他的原因主要是:

  • Prometheus采用pull模式,可能由于不在一个子网或者防火墙原因导致Prometheus无法直接拉取各个target数据。
  • 在监控业务数据的时候,需要将不同数据汇总,由Prometheus统一收集。
  • 当exporter不能满足需要时,也可以通过自定义(python、shell、Java)监控我们想要的数据。

由于以上原因,不得不使用pushgateway,但在使用之前,有必要了解一下它的一些弊端:

  • 将多个节点数据汇总到pushgateway,如果pushgateway挂了,受影响比多个target大。
  • Prometheus拉取状态up只针对pushgateway,无法做到对每个节点有效。
  • pushgateway可以持久化推送给它的所有监控数据。

因此,即使你的监控已经下线,Prometheus还会拉取到旧的监控数据,需要手动清理pushgateway不要的数据。

2、docker方式安装pushgateway

我是在Prometheus服务器端安装的

docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

3、在浏览器查看

访问本机IP加9091端口

4、对Prometheus配置文件进行添加内容

在Prometheus服务器端打开配置文件添加以下配置

vim prometheus/prometheus.yml

  • job_name: pushgateway

honor_labels: true #加上此配置exporter节点上传数据中的一些标签将不会被pushgateway节点的相同标签覆盖。

static_configs:

  • targets: ['192.168.1.144:9091']

labels:

instance: pushgateway

5、重新加载配置文件

curl -X POST http://localhost:9090/-/reload

在浏览器访问Prometheus服务器的IP加9090端口然后选择status然后选择targets查看

6、curl方式向pushgateway推送监控数据

使用curl:

正常情况我们会使用Client推送数据到pushgateway但是我们还可以curl调用API来管理,例如:

向{job="some_job"}添加单条数据:

echo "some_metric 3.14" | curl --data-binary @- http://192.168.1.144:9091/metrics/job/some_job

添加更多更复杂数据,通常数据会带上instance(some_instance为instance名)表示来源位置:

cat <<EOF | curl --data-binary @- http://192.168.1.144:9091/metrics/job/some_job/some_job/instance/some_instance

TYPE some_metric counter

some_metric{label="val1"} 42

TYPE another_metric gauge

HELP another_metric just an example.

another_metric 2398.283

EOF

删除某个组下的某实例的所有数据:

curl -X DELETE http://192.168.1.144:9091/metrics/job/some_job/instance/some_instance

删除某个组下的所有数据:

curl -X DELETE http://192.168.1.144:9091/metrics/job/some_job

命令解释: echo "some_metric 3.14" | curl --data-binary @- http://192.168.1.144:9091/metrics/job/some_job

  1. echo "some_metric 3.14":这部分命令使用echo命令创建一个包含指标数据的字符串。在这个例子中,指标名称是some_metric,其值是3.14

  2. |:这是一个Linux命令中的管道符号,它将前一个命令的输出作为后一个命令的输入。

  3. curl --data-binary @- http://192.168.1.144:9091/metrics/job/some_job:这部分命令使用curl命令将数据发送到指定的URL。

  4. --data-binary @-选项告诉curl命令从标准输入中读取数据,并将其作为二进制数据发送。@-表示读取标准输入。

  5. http://192.168.1.144:9091/metrics/job/some_job是目标URL,其中包含Prometheus服务器的地址和端口以及要存储指标数据的job名称。

推送完数据后在浏览器刷新可以看的我们推送的数据

7、python方式向pushgateway推送监控数据我在140机器安装配置的

注:可以在Prometheus服务器配置也可以在被监控端配置

安装Prometheus_client模块

安装pip

yum install -y python3-pip #centos安装

apt install -y python3-pip #ubunt安装

通过pip安装Prometheus_client

pip3 install -y prometheus_client

创建一个python脚本加入以下内容

vim py.py

from prometheus_client import CollectorRegistry, Gauge, push_to_gateway

registry = CollectorRegistry()

g = Gauge('job_last_success_unixtime', 'Last time a batch job successfully finished', registry=registry)

g.set_to_current_time()

push_to_gateway('http://192.168.1.144:9091', job='batchA', registry=registry)

注:如果是本机将http://192.168.1.144:9091改为localhost:9091

加载脚本文件

在浏览器查看

8、监控data数据目录下的文件数量

注:我是配置在140服务器上的centos系统

shell 脚本:

cat >>/opt/file_num.sh<<"EOF"

#!/bin/sh

FILENUM=`ls -l /data |sed 1d| wc -l`

echo "data_file_num ${FILENUM}" | curl --data-binary @- http://192.168.1.144:9091/metrics/job/test_job/instance/test

EOF

解释:

  1. 使用 ls -l /data 命令列出 /data 目录下的文件信息。
  2. 使用 sed 1d 命令删除列表中的第一行(即目录总计)。
  3. 使用 wc -l 命令统计剩余行数,即文件数量。
  4. 将输出结果与字符串 "data_file_num " 拼接,形成指标 "data_file_num 文件数量"。
  5. 使用 curl 命令将指标数据发送到 http://192.168.1.144:9091/metrics/job/test_job/instance/test。

配置定时任务:

crontab -e

*/1 * * * * /bin/sh /opt/file_num.sh >/dev/null 2>&1

如果是Ubuntu系统按下面的

9、配置告警规则(在Prometheus端配置)

例如:当data目录下的文件数量超过9,报警出来

因为之前我在Prometheus.yaml文件中加了一个触发器文件

所以在rules文件中添加一个mongodb的触发器文件即可

在Prometheus端创建一个mongodb的yml文件添加输入以下触发器内容

vim pushgateway.yml

groups:

  • name: pushigateway

rules:

  • alert: DataFileNum

expr: data_file_num > 9

for: 0m

labels:

severity: warning

annotations:

summary: 'data数据目录文件过多'

description: "data数据目录文件数>9,当前数量:{{ $value }}"

10、检查更新

检查配置

docker exec -it prometheus promtool check config /etc/prometheus/prometheus.yml

重新加载配置

curl -X POST http://localhost:9090/-/reload

在浏览器输入Prometheus端的IP加9090端口选择Alerts查看

11、添加到grafana图形化

进入grafana页面 在左上角选择 Starred 然后在右上角选择New 然后选择New dashboard 会出现下面的页面

完成

相关推荐
萨格拉斯救世主35 分钟前
戴尔R930服务器增加 Intel X710-DA2双万兆光口含模块
运维·服务器
无所谓จุ๊บ36 分钟前
树莓派开发相关知识十 -小试服务器
服务器·网络·树莓派
Jtti38 分钟前
Windows系统服务器怎么设置远程连接?详细步骤
运维·服务器·windows
TeYiToKu41 分钟前
笔记整理—linux驱动开发部分(9)framebuffer驱动框架
linux·c语言·arm开发·驱动开发·笔记·嵌入式硬件·arm
dsywws44 分钟前
Linux学习笔记之时间日期和查找和解压缩指令
linux·笔记·学习
yeyuningzi1 小时前
Debian 12环境里部署nginx步骤记录
linux·运维·服务器
上辈子杀猪这辈子学IT1 小时前
【Zookeeper集群搭建】安装zookeeper、zookeeper集群配置、zookeeper启动与关闭、zookeeper的shell命令操作
linux·hadoop·zookeeper·centos·debian
minihuabei1 小时前
linux centos 安装redis
linux·redis·centos
EasyCVR2 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
lldhsds2 小时前
书生大模型实战营第四期-入门岛-1. Linux前置基础
linux