Linux云计算 |【第二阶段】SECURITY-DAY3

小安运维日记2024-08-25 21:29

主要内容：

Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化

补充：Zabbix监控软件不自带LNMP和DB数据库，需要自行手动安装配置；Prometheus监控软件自带WEB页面和DB数据库；Prometheus数据库为时序数据库，Zabbix数据库为关系型数据库；

一、Prometheus概述

Prometheus 是一个开源的系统监控和警报工具包，最初由 SoundCloud 开发，并于2012年首次发布。Prometheus 在2016年加入云原生计算基金会（CNCF），成为继 Kubernetes 之后的第二个托管项目。Prometheus 以其强大的数据模型、灵活的查询语言和高效的存储机制而闻名，已成为云原生和容器化环境中的监控标准之一。

主要功能：

数据模型：

  • Prometheus 采用时间序列数据模型，存储多维度的度量指标。
  • 每个时间序列由指标名称和一组键值对（标签）唯一标识。

查询语言：

  • Prometheus 提供了一种名为 PromQL（Prometheus Query Language）的强大查询语言，用于实时查询和分析时间序列数据。
  • PromQL 支持复杂的查询、聚合和数据转换操作。

数据收集：

  • Prometheus 通过拉取（pull）模型从目标系统收集数据，目标系统通常通过 HTTP 接口暴露度量指标。
  • 支持通过中间代理（如 Pushgateway）处理推送（push）模型。

告警管理：

  • Prometheus 提供了一个独立的告警管理组件，称为 Alertmanager，用于处理、去重、分组和路由告警。
  • Alertmanager 支持多种通知方式，包括电子邮件、Slack、PagerDuty 等。

可视化：

  • Prometheus 自带一个简单的图形界面，用于基本的数据查看和查询。
  • 通常与 Grafana 集成，提供更强大的可视化和仪表板功能。

存储：

  • Prometheus 将数据存储在本地磁盘上，采用自定义的存储引擎，高效地处理大量时间序列数据。
  • 支持通过远程存储接口与外部存储系统集成。

Prometheus架构图：

Prometheus 的架构主要包括以下组件：

  • Prometheus Server：核心组件，负责数据收集、存储和查询。
  • Exporters：用于暴露现有应用程序或系统的度量指标，如 Node Exporter、MySQL Exporter 等。
  • Pushgateway：用于处理短期任务或批处理作业的度量指标推送。
  • Alertmanager：处理告警，支持去重、分组和通知路由。
  • Web UI / Grafana：用于数据可视化和仪表板展示。

优势：

  • 开源：免费使用，社区支持活跃。
  • 强大的数据模型和查询语言：支持多维度数据模型和灵活的 PromQL 查询语言。
  • 高效的存储机制：自定义的存储引擎，适合处理高吞吐量的时间序列数据。
  • 灵活的告警管理：独立的 Alertmanager 组件，支持复杂的告警规则和通知机制。
  • 云原生支持：原生支持 Kubernetes 和其他云原生技术，适合容器化环境。

应用场景：

Prometheus 适用于各种监控场景，特别是云原生和容器化环境，包括：

  • 容器和微服务监控
  • 基础设施监控（如服务器、网络设备）
  • 应用程序性能监控
  • 持续集成和持续交付（CI/CD）管道监控
  • 云环境和虚拟化监控

案例1：Prometheus监控服务器

案例要求：部署prometheus监控服务器，完成以下任务：

  • 1）安装监控服务器
  • 2）修改配置文件
  • 3）编写service文件，管理服务
  • 4）查看监控数据

主机分配表（主机系统均为CentOS7，提前配置IP、主机名、系统YUM源）

实验拓扑图：

步骤1：设置防火墙和SELinux限制

bash 复制代码 
[root@prometheus ~]#firewall-cmd --set-default-zone=trusted
[root@prometheus ~]#setenforce 0
[root@prometheus ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2：部署服务端监控软件（prometheus操作）

1）安装prometheus软件（可参考/linux-soft/2/prometheus_soft.tar.gz）

bash 复制代码 
[root@prometheus ~]# tar -xf prometheus_soft.tar.gz
[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
1-cpu_rev2.json
1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json
alertmanager-0.20.0.linux-386.tar.gz
grafana-6.7.3-1.x86_64.rpm
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
prometheus-2.17.2.linux-386.tar.gz
pushgateway-1.2.0.linux-amd64.tar.gz

[root@prometheus prometheus_soft]# tar -xf prometheus-2.17.2.linux-386.tar.gz    //解压软件压缩包
[root@prometheus prometheus_soft]# ls prometheus-2.17.2.linux-386/
console_libraries  LICENSE  prometheus      promtool
consoles           NOTICE   prometheus.yml  tsdb
[root@prometheus prometheus_soft]# mv prometheus-2.17.2.linux-386 /usr/local/prometheus     //移动到/usr/local/prometheus（类似tomcat）
[root@prometheus prometheus_soft]# ls /usr/local/prometheus/

Prometheus软件解压即可直接执行；

2）修改prometheus配置文件（添加Target监控对象）

  • 配置文件：prometheus.yml //文件为YAML格式
  • 格式：/usr/local/prometheus/promtool check config 配置文件 //检查语法错误
bash 复制代码 
[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
...
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']   //配置抓取目标，被监控端主机和端口

**解释：**targets监控对象，指定需被监控的主机IP:端口号（192.168.4.10:9090监控本机，端口9090）

检查配置配置文件是否有语法错误

bash 复制代码 
[root@prometheus ~]# /usr/local/prometheus/promtool check config \
> /usr/local/prometheus/prometheus.yml
Checking /usr/local/prometheus/prometheus.yml
  SUCCESS: 0 rule files found     //语法没有错误（仅供参考）

3）编写服务service文件，使用systemd管理服务（端口9090）

bash 复制代码 
[root@prometheus ~]# vim /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Monitoring System
Documentation=Prometheus Monitoring System
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml   
[Install]
WantedBy=multi-user.target
[root@prometheus ~]# systemctl enable prometheus.service --now  //设置服务开机自启并立刻启动
[root@prometheus ~]# ss -nlptu | grep :9090
tcp    LISTEN     0      128      :::9090                 :::*                   users:(("prometheus",pid=764,fd=6))

补充：--config指定配置文件位置，在启动服务时可找到该文件

步骤3：登录Prometheus监控控制台

1）查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，可看到监控控制台首页；

查看监控主机，点击【Status】-->【Targets】，可查看监控到的对象主机；

点击http://192.168.4.10:9090/metrics，可查看到该主机的监控数据（可视化效果不佳）

通过【Graph】，选择监控数据，如go_memstats_alloc_bytes，点击<Execute>执行，可查看具体某个监控数据和Value；

点击<Graph>，可查看选择的监控数据对应的监控图形

**常见错误：**No datapoints found.

思路分析：

  • 1）防火墙与SELinux是否限制；
  • 2）配置文件中的targets是否没有数据；
  • 3）检查Prometheus.service服务是否启动（端口9090）
  • 4）没有数据库的目录，在Service文件里添加--storage.tsdb.path=/usr/local/prometheus/data/
  • 5）Prometheus时间与创建历史时间不对

解决办法：

Servies服务可手动启动服务：/usr/local/prometheus/prometheus \

--config.file=/usr/local/prometheus/prometheus.yml

二、被监控端

1）监控方式

Prometheus客户端分为pull和push两种提交数据的方式：

  • ① Pull：监控服务端主动向被监控端拉取数据，这样需要在被监控端上安装exporters（导出器）作为守护进程；
  • ② Push：被监控端需安装pushgateway插件，然后由运维人员通过脚本将监控数据组织成键值形式提交给pushgateway，再由该插件提交给监控服务端；

2）Exporter导出器

按照监控要求实现什么类型的监控，则需要单独安装exporter(导出器)，可参考官网开源的exporter，解压即可直接运行。

补充：广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter，而Exporter的一个实例称为target；

案例2：Prometheus被监控端

案例要求：配置Prometheus被监控端主机，主要完成以下任务：

  • 1）安装被监控端软件（exporter监控导出器）
  • 2）编写service文件，使用systemd管理服务
  • 3）修改监控服务器配置文件
  • 4）查看监控数据

步骤1：设置防火墙与SELinux限制

bash 复制代码 
[root@node1 ~]#firewall-cmd --set-default-zone=trusted
[root@node1 ~]#setenforce 0
[root@node1 ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2：部署被控制端软件（node1操作）

1）安装node_export导出器（可参考/linux-soft/2/prometheus_soft.tar.gz）

bash 复制代码 
[root@node1 ~]# tar -xf prometheus_soft.tar.gz
[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
...
[root@node1 prometheus_soft]# tar -xf node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls node_exporter-1.0.0-rc.0.linux-amd64
LICENSE  node_exporter  NOTICE
[root@node1 prometheus_soft]# mv node_exporter-1.0.0-rc.0.linux-amd64 /usr/local/node_exporter
[root@node1 prometheus_soft]# ls /usr/local/node_exporter

2）编写服务service文件，使用systemd管理服务（端口9100）

bash 复制代码 
[root@node1 ~]# vim /usr/lib/systemd/system/node_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable node_exporter --now   //设置服务开机自启并立刻启动
[root@node1 ~]# ss -nlptu | grep :9100
tcp    LISTEN     0      128      :::9100                 :::*                   users:(("node_exporter",pid=898,fd=3))

步骤3：修改监控服务器的配置文件（Prometheus操作）

1）修改配置文件

参考配置文件的监控任务模板，在【scrape_configs:】下添加3行新内容，具体内容如下：

bash 复制代码 
[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']
  - job_name: 'node1'                  //监控任务名称（可任意）
    static_configs:
    - targets: ['192.168.4.11:9100']    //被监控端主机和端口
[root@prometheus ~]# systemctl restart prometheus.service     //重启服务

步骤4：登录Prometheus监控控制台

  1. 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，进入监控首页，通过【Status】-->【Targets】，查看监控主机列表，验证是否有新增监控对象主机（确保被监控端服务正常开启，端口9100）

选择具体的监控数据（例如node_load1平均负载量1分钟），点击<Graph>，可查看选择的监控数据对应的监控图形

三、Grafana概述

Grafana 是一个开源的分析和交互式可视化平台，专门用于监控和分析时间序列数据。它由 Torkel Ödegaard 创建，并于2014年首次发布。Grafana 以其强大的可视化能力、灵活的仪表板和插件生态系统而闻名，已成为监控领域的重要工具之一。

主要功能：

数据源支持：

  • Grafana 支持多种数据源，包括 Prometheus、Graphite、InfluxDB、Elasticsearch、MySQL、PostgreSQL 等。
  • 用户可以从多个数据源中获取数据，并在同一个仪表板上进行可视化展示。

可视化：

  • 提供丰富的可视化选项，包括图表、图形、表格、热图、仪表盘等。
  • 支持自定义可视化，用户可以根据需要创建复杂的图表和仪表板。

仪表板：

  • 提供灵活的仪表板功能，用户可以创建、编辑和共享仪表板。
  • 支持变量（Variables）和模板（Templating），便于动态更新和过滤数据。

告警和通知：

  • 支持基于仪表板数据的告警功能，可以在检测到异常时发送通知。
  • 支持多种通知渠道，包括电子邮件、Slack、PagerDuty 等。

插件生态系统：

  • 提供丰富的插件系统，用户可以扩展 Grafana 的功能，包括数据源插件、面板插件和应用插件。
  • 社区活跃，不断有新的插件和功能被开发和发布。

权限管理：

  • 支持基于角色的访问控制（RBAC），可以对用户和团队进行细粒度的权限管理。
  • 支持 LDAP、OAuth 和其他认证方式。

Grafana 的架构主要包括以下组件：

  • Grafana Server：核心组件，负责处理请求、数据查询和可视化展示。
  • 数据源：连接到各种时间序列数据库和监控系统，获取数据。
  • 仪表板：用户定义的可视化界面，用于展示和分析数据。
  • 插件系统：扩展 Grafana 功能的插件，包括数据源插件、面板插件和应用插件。

案例3：grafana可视化监控数据

案例要求：配置grafana实现数据可视化效果，完成以下任务：

  • 1）安装Grafana
  • 2）修改grafana配置
  • 3）导入可视化模板
  • 4）查看监控图表

步骤1：安装部署grafana（prometheus操作）

1）安装grafana软件（可参考/linux-soft/2/prometheus_soft.tar.gz）

bash 复制代码 
[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
grafana-6.7.3-1.x86_64.rpm
...
[root@prometheus prometheus_soft]# yum -y install grafana-6.7.3-1.x86_64.rpm  //安装软件包（可在任何主机上安装）

2）启动服务

bash 复制代码 
[root@prometheus ~]# systemctl enable grafana-server.service --now   //设置服务开机自启动服务并立刻启动
[root@prometheus ~]# ss -nlptu | grep :3000     //grafana服务端口3000
tcp    LISTEN     0      128      :::3000                 :::*                   users:(("grafana-server",pid=1201,fd=7))

3）登录可视化平台，重置登录密码

浏览器访问Grafana可视化平台http://192.168.4.10:3000，默认用户名和密码：admin

重置用户名和密码：admin（第一次登录，为了安全需要重置密码）

登录Grafana可视化平台后，显示首页页面内容，如图所示：

**补充：**浏览器兼容问题，可能无法重置密码，如果无法重置密码，则可设置grafana允许匿名登录，具体操作如下（非必要，不要执行如下操作）

bash 复制代码 
[root@prometheus ~]# vim /etc/grafana/grafana.ini
[auth.anonymous]    //anonymous匿名的
enabled = true   //是否允许匿名
org_role = Admin   //以什么角色登录（Admin管理员用户）
[root@prometheus ~]# systemctl restart grafana-server.service   //修改后需重启服务

步骤2：配置Grafana

浏览器访问Grafana控制台，http://192.168.4.10:3000，添加数据源（有数据才能生成可视化图形）

1）添加数据源（查看Prometheus监控端的系统信息）

Grafana可以将数据图形化，点击【Add data source】，选择从【Prometheus】获取数据；

填写Prometheus的基本信息，URL指定：http://192.168.4.10:9090，从该URL获取数据源；

2）导入可视化模板

使用不同的可视化模板（折线图、饼图、热图等），可实现将不同的数据进行图形化展示，点击<Data Sources>，选择需要可视化的数据源（例如Prometheus-1）

点击【Dashboards商业智能仪表盘】，导入Prometheus 2.0 Stats图形化模板;

点击<Prometheus 2.0 Stats图形化模板>，可查看该模板下连接Prometheus数据源的可视化界面，如图所示：

步骤3：查看被监控主机的系统信息

1）导入主机监控的可视化模板（node_exporter模板）

模板：1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json

通过真机浏览器访问，所以需解压在真机目录下（可参考/linux-soft/2/prometheus_soft.tar.gz）

bash 复制代码 
[root@localhost 桌面]# tar -xf /linux-soft/2/prometheus_soft.tar.gz    //解压压缩包

2）选择数据源

导入监控主机的可视化模板后，就可以查看主机的监控图形了，但该可视化图形的数据暂未获取，需要设置prometheus为数据源（Prometheus-1），完成后点击导入；

返回Grafana首页，点击node_exporter可视化模板，查看可视化监控图形；

最终的可视化界面，如图所示：

案例4：监控数据库

案例要求：使用prometheus监控MariaDB数据库，完成以下任务：

  • 1）安装数据库
  • 2）安装数据库exporter
  • 3）配置数据库账户和密码
  • 4）导入监控模板

步骤1：安装MariaDB（node1操作）

1）安装软件，启动服务

bash 复制代码 
[root@node1 ~]# yum -y install mariadb-server
[root@node1 ~]# systemctl enable mariadb --now
[root@node1 ~]# ss -nlptu | grep :3306
tcp    LISTEN     0      50        *:3306                  *:*                   users:(("mysqld",pid=1415,fd=14))

2）创建数据库账户，配置密码

监控服务器需要监控数据库，需创建一个对数据库有权限的账户并配置密码。

bash 复制代码 
[root@node1~]# mysql
MariaDB [(none)]> grant all on *.* to 'jerry'@'127.0.0.1' identified by '123';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> quit

解释：创建用户jerry，授予该用户对所有数据库和表拥有所有权限，可以从本机127.0.0.1登录服务器，密码为123

步骤2：部署被控制端软件

1）安装mysqld_exporter导出器（可参考/linux-soft/2/prometheus_soft.tar.gz）

bash 复制代码 
[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
...
[root@node1 prometheus_soft]# tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls mysqld_exporter-0.12.1.linux-amd64
LICENSE  mysqld_exporter  NOTICE
[root@node1 prometheus_soft]# mv mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter

2）创建数据库配置文件.my.cnf，记录访问数据库信息

bash 复制代码 
[root@node1 ~]# vim /usr/local/mysqld_exporter/.my.cnf
[client]
host=127.0.0.1    //数据库的主机
port=3306   //数据库的端口
user=jerry   //数据库的用户名
password=123   //数据库的密码

解释：创建数据库配置文件.my.cnf，在监控服务器访问被监控服务器的mysqld_exporter服务时，exporter会自动读取配置文件，使用配置文件用的账户和密码信息访问数据库，获取数据库监控信息；

3）编写服务service文件，使用systemd管理服务（端口9104）

bash 复制代码 
[root@node1 ~]# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \
--config.my-cnf=/usr/local/mysqld_exporter/.my.cnf
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable mysqld_exporter --now
[root@node1 ~]# ss -nlptu | grep :9104
tcp    LISTEN     0      128      :::9104                 :::*                   users:(("mysqld_exporter",pid=1561,fd=3))

补充：--config是mysqld_exporter的选项，指定配置文件位置

步骤3：修改监控服务器的配置文件（Prometheus操作）

1）修改监控服务器配置文件

参考配置文件的监控任务模板，在【scrape_configs:】下添加3行新内容，具体内容如下：

bash 复制代码 
[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:    //抓取数据
...
  - job_name: 'mysql'     //监控任务的名称
    static_configs:
    - targets: ['192.168.4.11:9104']    //被监控主机IP和端口
[root@prometheus ~]# systemctl restart prometheus.service

解释：targets指定被监控主机192.168.4.11，端口9104，连接后pull拉取监控数据

步骤4：登录Prometheus监控控制台

  1. 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，进入监控首页，通过【Status】-->【Targets】，查看监控主机列表，验证是否有新增监控对象主机（确保被监控端服务正常开启，端口9104）

步骤5：配置Grafana可视化

1）查看Prometheus监控服务状态（浏览器访问http://192.168.4.10:9090）

查看prometheus是否已经识别到MariaDB数据库主机，状态为UP；

2）访问Grafana平台，导入数据库可视化模板（浏览器访问http://192.168.4.10:3000）

导入数据库可视化模板

设置prometheus为数据源（Prometheus-1），完成后点击导入；

可查看该模板下连接Prometheus数据源的可视化界面，如图所示：

思维导图：

小结：

本篇章节为**【第二阶段】SECURITY-DAY3**的学习笔记，这篇笔记可以初步了解到 Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化。除此之外推荐参考相关学习网址：

Tip：毕竟两个人的智慧大于一个人的智慧，如果你不理解本章节的内容或需要相关笔记、视频，可私信小安，请不要害羞和回避，可以向他人请教，花点时间直到你真正的理解

相关推荐
运维老司机8 分钟前
Jenkins修改LOGO
运维·自动化·jenkins
D-海漠24 分钟前
基础自动化系统的特点
运维·自动化
我言秋日胜春朝★32 分钟前
【Linux】进程地址空间
linux·运维·服务器
C-cat.1 小时前
Linux|环境变量
linux·运维·服务器
yunfanleo1 小时前
docker run m3e 配置网络，自动重启，GPU等 配置渠道要点
linux·运维·docker
糖豆豆今天也要努力鸭2 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
烦躁的大鼻嘎2 小时前
【Linux】深入理解GCC/G++编译流程及库文件管理
linux·运维·服务器
乐大师2 小时前
Deepin登录后提示“解锁登陆密钥环里的密码不匹配”
运维·服务器
ac.char2 小时前
在 Ubuntu 上安装 Yarn 环境
linux·运维·服务器·ubuntu
敲上瘾2 小时前
操作系统的理解
linux·运维·服务器·c++·大模型·操作系统·aigc
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作