快速搭建Grafana Promethus 服务器监控系统

该文参考文章,其中又遇到一些问题,并解决,当前主要为了记录一下

探针 Grafana + Prometheus 之比 Docker 更简单的部署流程 - 承飞之咎本文重在 Grafana + Prometheus 探针 方案的部署流程,介绍和更多使用请到:探针 ̵...https://blog.vfly2.com/2023/07/a-simpler-deployment-process-of-the-probe-grafana-prometheus-compared-to-docker/两种方式进行,第一种只需要几行命令即可,需要外网支持,网络环境比较好建议使用。第二种打开github就可以

一、第一种方式

一键安装 Prometheus

wget -qO- 'https://raw.githubusercontent.com/AhFeil/bash-script/main/install-prometheus.sh' | sudo bash

若运行结束后,出现 active (running) ,则安装成功。

通过 http://ip_addr:9090 访问 Prometheus Web 界面和仪表板。如果访问不到,请看下面我的问题第四部分---解决部分。

sudo ufw allow from 监控服务器IP to any port 9100 comment 'node_exporter'

记得修改 IP

一键安装 Node Exporter

wget -qO- 'https://raw.githubusercontent.com/AhFeil/bash-script/main/install-node_exporter.sh' | sudo bash

若运行结束后,出现 active (running) ,则安装成功。

脚本中设置了开机自启动等。基本上就配置好 准备采集服务器数据的环境。直接跳到第三部分:配置界面

二、第二种方式

安装 Prometheus, 下载地址:Download | Prometheus

bash 复制代码
# 获取 Prometheus 最新版本
github_project="prometheus/prometheus"
tag=$(wget -qO- -t1 -T2 "https://api.github.com/repos/${github_project}/releases/latest" | grep "tag_name" | head -n 1 | awk -F ":" '{print $2}' | sed 's/\"//g;s/,//g;s/ //g')
# echo ${tag}
# tag2=${tag#*v}
 
# 下载 Prometheus 最新版本并解压
wget https://github.com/prometheus/prometheus/releases/download/${tag}/prometheus-${tag#*v}.linux-amd64.tar.gz && \
tar xvfz prometheus-*.tar.gz && \
rm prometheus-*.tar.gz && cd prometheus-*.linux-amd64
 
# 将 Prometheus 可执行文件放入通用的系统目录下
sudo mv prometheus promtool /usr/local/bin/
# /etc/prometheus 放Prometheus配置文件。 /var/lib/prometheus 存应用程序数据
sudo mkdir -p /etc/prometheus /var/lib/prometheus && \
sudo mv prometheus.yml /etc/prometheus/prometheus.yml
sudo mv consoles/ console_libraries/ /etc/prometheus/
 
# 清理
cd .. && rm -r prometheus-*.linux-amd64

wget下载不下来时,查看请求路径,在文中下载下来后,传在服务器。执行命令基本不变,有些删除命令可以不执行。

使用以下命令验证 Prometheus 是否已成功安装:

bash 复制代码
prometheus --version

创建一个系统用户 prometheus

bash 复制代码
sudo useradd -rs /bin/false prometheus

所有权分配

bash 复制代码
sudo chown -R prometheus: /etc/prometheus /var/lib/prometheus

使用 systemd 守护进程,它能实现程序的后台运行、开机自启、崩溃重启等。

创建 prometheus.service 文件:

bash 复制代码
sudo vim /etc/systemd/system/prometheus.service

编辑内容

bash 复制代码
[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target
 
[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
RestartSec=5s
ExecStart=/usr/local/bin/prometheus \
    --config.file /etc/prometheus/prometheus.yml \
    --storage.tsdb.path /var/lib/prometheus/ \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries \
    --web.listen-address=0.0.0.0:9090 \
    --web.enable-lifecycle \
    --log.level=info
 
[Install]
WantedBy=multi-user.target

说明:

  • ExecStart :就是在终端时开启程序的命令,只不过要用绝对路径。
  • config.file 将 Prometheus 配置文件的位置为 /etc/prometheus/prometheus.yml
  • storage.tsdb.path 告诉 Prometheus 将程序数据存储在 /var/lib/prometheus/ 中。
  • web.listen-address 设置为 0.0.0.0:9090 ,允许 Prometheus 侦听所有网络接口上的连接。
  • web.enable-lifecycle 选项允许用户在不重新启动Prometheus的情况下重新加载配置文件。

重新加载 systemctl 守护进程。

bash 复制代码
sudo systemctl daemon-reload

设置开机自启,并立即启动运行

bash 复制代码
sudo systemctl enable --now prometheus

查看状态

bash 复制代码
sudo systemctl status prometheus
bash 复制代码
sudo systemctl start prometheus

如果 prometheus 服务无法正常启动,请运行命令 journalctl -u prometheus -f --no-pager 并检查输出是否有错误。

通过 http://ip_addr:9090 访问 Prometheus Web 界面和仪表板。将 ip_addr 替换为监控服务器的地址。

进入网页后,由于 Prometheus 使用的是默认配置文件,因此还没显示太多信息。

默认的 prometheus.yml 文件包含用于抓取本地主机的指令。到【Status】-【Targets】可以看见所有目标。 目前应该只有本地 Prometheus 一个目标。

安装Node Exporter

在客户端上安装 Node Exporter ,再将客户端添加到 prometheus.yml 中服务器列表中就能监控。其统计信息收集可在端口 9100 上获得。该端口可通过互联网访问,任何在其他地方运行 Prometheus 的人都可以收集它们。

因此,使用防火墙限制仅监控服务器可以访问:

bash 复制代码
sudo ufw allow from 监控服务器IP to any port 9100 comment 'node_exporter'

下载地址:Download | Node Exporter

bash 复制代码
# 获取 Prometheus 最新版本
github_project="prometheus/node_exporter"
tag=$(wget -qO- -t1 -T2 "https://api.github.com/repos/${github_project}/releases/latest" | grep "tag_name" | head -n 1 | awk -F ":" '{print $2}' | sed 's/\"//g;s/,//g;s/ //g')
echo ${tag}
echo ${tag#*v}
 
wget https://github.com/prometheus/node_exporter/releases/download/${tag}/node_exporter-${tag#*v}.linux-amd64.tar.gz && \
tar xvfz node_exporter-*.tar.gz && \
rm node_exporter-*.tar.gz
 
sudo mv node_exporter-*.linux-amd64/node_exporter /usr/local/bin
rm -r node_exporter-*.linux-amd64*

wget下载不下来时,查看请求路径,在文中下载下来后,传在服务器。执行命令基本不变,有些删除命令可以不执行。

将 Node Exporter 作为服务运行会更方便。首先创建一个 node_exporter 用户。

bash 复制代码
sudo useradd -rs /bin/false node_exporter

创建一个服务文件 node_exporter.servicesystemctl 使用。

bash 复制代码
sudo vim /etc/systemd/system/node_exporter.service
bash 复制代码
[Unit]
Description=Node Exporter
Wants=network-online.target
After=network-online.target
 
[Service]
User=node_exporter
Group=node_exporter
Type=simple
Restart=on-failure
RestartSec=5s
ExecStart=/usr/local/bin/node_exporter
 
[Install]
WantedBy=multi-user.target
bash 复制代码
sudo systemctl daemon-reload
bash 复制代码
sudo systemctl enable --now node_exporter
bash 复制代码
sudo systemctl status node_exporter
bash 复制代码
sudo systemctl restart node_exporter

如果前面没设置只能由监控服务器访问,可以使用浏览器访问客户端节点的 9100 端口,例如 http://ip_addr:9100

将显示标题为 Node Exporter 的页面以及读取 Metrics 的链接。单击 Metrics 链接并确认正在收集统计信息。有关各种统计信息的详细说明,请参阅文档。

配置 Prometheus 监控客户端节点

在运行Prometheus的监控服务器上,打开 prometheus.yml 进行编辑。

bash 复制代码
sudo vim /etc/prometheus/prometheus.yml

prometheus 作业下方,添加第二个作业,其 job_nameremote_collector 。包括以下信息。

  • 设置抓取时间间隔: scrape_interval: 10s
  • 添加要监控的 IP 和 端口号 :9100 ,使用逗号分隔每个条目。
  • 要启用对本地服务器的监视,请将 localhost:9100 条目添加到列表中,并在本地安装 Node Exporter。
bash 复制代码
...
 
  - job_name: "remote_collector"
    scrape_interval: 10s
    static_configs:
      - targets: ["remote_addr_IP:9100", "remote_addr_IP:9100"]

立即刷新 Prometheus,

bash 复制代码
sudo systemctl restart prometheus

使用 Web 浏览器重新访问监控服务器上端口 9090 的 Prometheus Web 门户。选择【Status】-【Targets】。将显示 remote_collector 作业的第二个链接,指向客户端上的端口 9100 。单击链接查看统计数据。

第三步: 安装 Grafana服务器,配置界面

Grafana 提供了查看 Prometheus 收集的统计信息的界面。在运行 Prometheus 的同一服务器上安装 Grafana 并将 Prometheus 添加为数据源。

  1. 安装一些必需的实用程序
bash 复制代码
sudo apt-get install -y apt-transport-https software-properties-common
  1. 导入密钥
bash 复制代码
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
  1. 添加稳定版本
bash 复制代码
echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

4.安装开源版本

bash 复制代码
sudo apt-get update && sudo apt-get install grafana

要安装 Grafana 企业版,请使用命令 sudo apt-get install grafana-enterprise

重新加载 systemctl守护进程

bash 复制代码
sudo systemctl daemon-reload
bash 复制代码
sudo systemctl enable --now grafana-server.service
bash 复制代码
sudo systemctl status grafana-server
bash 复制代码
sudo systemctl start grafana-server

关联 Grafana 和 Prometheus

所有系统组件现已安装,但 Grafana 和 Prometheus 尚未关联。剩下的可以使用 Grafana Web 界面完成。

要集成 Grafana 和 Prometheus,请按照以下步骤操作:

  1. 浏览器访问监控服务器的 3000 端口。例如,输入 http://ip_addr:3000 ,将 ip_addr 替换为实际 IP 地址。
  2. Grafana 显示登录页面。使用用户名和默认密码 都是 admin 。当出现提示时,将密码更改为更安全的值。
  3. 成功更改密码后,Grafana 将显示 Grafana 仪表板。
  4. 要将 Prometheus 添加为数据源,请单击齿轮符号(代表配置),然后选择数据源。
  1. 对于本地 Prometheus 源,将 URL 设置为 http://remoteIP:9090 。大多数其他设置可以保留默认值。

导入 Grafana 仪表板

可以创建自定义仪表板。然而,Prometheus 已经创建了一个仪表板来支持 Node Exporter,名为 Node Exporter Full ,下面是导入的流程。

要创建自定义仪表板,请单击仪表板按钮,该按钮类似于四个正方形。然后选择+新建仪表板。有关更多信息,请参阅 Grafana 构建仪表板指南。

  1. 访问 Grafana 仪表板库: https://grafana.com/grafana/dashboards/。输入 Node exporter 作为搜索词。
  2. 选择 Node Exporter Full 条目。
  3. 右下角查看 ID 号。该板的 ID 当前为 1860
  4. 返回 Grafana 仪表板。选择由四个正方形组成的仪表板图标,
  1. 右边【New】-【Import】。
  1. 然后在 【Import via grafana.com】, 输入上一步中的 ID 1860 。然后选择【Load】
  1. 在下一个屏幕确认导入详细信息。选择 Prometheus 作为数据源,然后单击【Import】按钮。
  1. Node Exporter Full 仪表板立即生效。它显示客户端节点的性能指标和状态,包括内存、RAM 和 CPU 详细信息。

这里可以配置多个服务器监控地址,配置多个数据源。

四、问题解决

新装的机器往往防火墙将端口关闭,

1.允许特定端口的传入连接:

假设您要允许访问的端口是 8080,可以使用以下命令:

bash 复制代码
sudo iptables -A INPUT -p tcp --dport 8080 -j ACCEPT

2.如果您想允许任何主机连接到该端口,可以将源 IP 地址指定为 0.0.0.0/0

bash 复制代码
sudo iptables -A INPUT -p tcp --dport 8080 -s 0.0.0.0/0 -j ACCEPT

这将允许来自任何 IP 地址的 TCP 流量通过指定的端口。

3.保存 iptables 规则:

如果您使用的是某些 Linux 发行版,您可能需要保存 iptables 规则以确保它们在系统重启后仍然生效。这可以通过以下命令之一完成:

bash 复制代码
sudo service iptables save   # 对于一些系统
sudo iptables-save > /etc/sysconfig/iptables   # 对于一些系统

4.验证规则:

您可以使用以下命令验证当前 iptables 规则

bash 复制代码
sudo iptables -L -n
相关推荐
晴天飛 雪1 天前
Grafana监控PostgreSQL
数据库·postgresql·grafana
大虾别跑2 天前
docker安装zabbix +grafana
docker·zabbix·grafana
菜鸟挣扎史2 天前
grafana+prometheus+windows_exporter实现windows进程资源占用的监控
windows·grafana·prometheus·进程·process
tester Jeffky3 天前
JMeter监听器与压测监控之Grafana
jmeter·eureka·grafana
DB菜鸟6 天前
Grafana Username password invalid
java·服务器·grafana
让生命变得有价值6 天前
使用 Grafana api 查询 Datasource 数据
grafana·prometheus
赫萝的红苹果6 天前
Springboot整合Prometheus+grafana实现系统监控
spring boot·grafana·prometheus
不会飞的小龙人6 天前
遥测数据采集工具Grafana Alloy
spring boot·grafana·日志采集·链路跟踪·alloy·otel
运维佬6 天前
要卸载 Grafana 或者从 TiDB 集群中删除 Grafana 服务节点,你需要按以下步骤操作
java·tidb·grafana
Heartsuit6 天前
云原生之运维监控实践-使用Prometheus与Grafana实现对Nginx和Nacos服务的监测
nginx·云原生·nacos·grafana·prometheus·运维监控