Linux部署Prometheus+Grafana

指尖_流逝的年华2024-07-20 0:33

【Linux】Prometheus+Grafana

一、Prometheus（普罗米修斯）

1、Prometheus简述

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库（TSDB)，基于Go语言开发，是Google BorgMon监控系统的开源版本。Prometheus在2016年加入了云原生计算基金会，成为Kubernetes之后的第二个项目。

Prometheus是一个开源的监控系统，它可以帮助用户监控各种不同类型的系统和应用程序。Prometheus采用的是pull模型，它定期从目标系统中拉取指标数据在本地数据库中。这些指标数据可以用于生成图表、警报和报告，以帮助用户了解他们系统的运作状态和性能表现。Prometheus通过多种数学算法能实现强大的监控需求，原生支持k8s服务发现，能监控容器的动态变化，并且结合Grafana能绘出漂亮图形，然后使用Altermanager或Grafana实现报警。

2、Prometheus特点

  • 多维数据模型：由度量名称和键值对标识的时间序列数据

  • 时间序列数据：按照时间顺序记录系统、设备状态变化的数据，每个数据称为一个样本；服务器指标数据、应用程序性能监控数据、网络数据等都是时序数据

  • 内置时间序列（Time Series）数据库：Prometheus ；外置的远端存储通常会用：InfluxDB、OpenTSDB 等

  • promQL 一种灵活的查询语言，可以利用多维数据完成复杂查询

  • 基于 HTTP 的 pull（拉取）方式采集时间序列数据

  • 同时支持 PushGateway 组件收集数据

  • 通过静态配置或服务发现发现目标

  • 支持作为数据源接入 Grafana

3、Prometheus生态组件

Prometheus Server：用于收集、存储和查询监控数据的核心组件。它定期从配置的目标中拉取指标数据，并将其存储在本地的时间序列数据库中。

Alertmanager：用于处理和发送警报通知的组件。Alertmanager可以根据配置的规则对监控数据进行分析，并在触发警报条件时发送通知。

Exporters：用于将各种服务和应用程序的指标数据转换成Prometheus可读取的格式。

Client Libraries：用于将应用程序的指标数据暴露给Prometheus Server的库。Prometheus提供了多种语言的客户端库，方便开发人员集成监控功能到他们的应用程序中。

Service Discovery：服务发现，用于动态发现待监控的 Target，Prometheus 支持多种服务发现机制：文件、DNS、Consul、Kubernetes 等等。 服务发现可通过第三方提供的接口，Prometheus 查询到需要监控的 Target 列表，然后轮询这些 Target 获取监控数据。该组件目前由 Prometheus Server 内建支持

Grafana：一个开源的数据可视化工具，可以与Prometheus集成，用于创建仪表板和图表展示监控数据。

4、Prometheus工作原理

●Prometheus Server 基于服务发现（Service Discovery）机制或静态配置获取要监视的目标（Target），并通过每个目标上的指标 exporter 来采集（Scrape）指标数据；

●Prometheus Server 内置了一个基于文件的时间序列存储来持久存储指标数据，用户可使用 PromQL 接口来检索数据，也能够按需将告警需求发往 Alertmanager 完成告警内容发送；

●一些短期运行的作业的生命周期过短，难以有效地将必要的指标数据供给到 Server 端，它们一般会采用推送（Push）方式输出指标数据， Prometheus 借助于 Pushgateway 接收这些推送的数据，进而由 Server 端进行抓取

二、部署Prometheus

1、系统架构

2、部署Prometheus

直接访问官网

①地址：https://prometheus.io/download/

在服务器上直接下载

②地址：https://prometheus.io/download/

复制代码 
wget https://github.com/prometheus/prometheus/releases/download/v2.44.0/prometheus-2.44.0.linux-amd64.tar.gz
复制代码 
[root@Prometheus prometheus]# setenforce 0
[root@Prometheus prometheus]# systemctl disable  --now firewalld.service 
[root@Prometheus ~]# tar -xvf prometheus-2.53.0.linux-amd64.tar.gz 
[root@Prometheus ~]#mv prometheus-2.53.0.linux-amd64 /usr/local/prometheus

3、修改配置文件

复制代码 
[root@Prometheus prometheus]# cp prometheus.yml prometheus.yml.bak

## 第六行添加
scrape_timeout: 10s        ##采集超时时间
## 最后一行localhost改为本机的ip（其实不改也可以，为了分辨，建议修改）
 - targets: ["172.16.11.209:9090"]

4、配置系统启动文件

配置系统启动文件，并且设置开机自启动

复制代码 
#进入这个文件，默认是没有的，直接进入就行
vim /usr/lib/systemd/system/prometheus.service 


[Unit]   #服务单元
Description=Prometheus Server
Documentation=https://prometheus.io
After=network.target   #依赖关系
 
[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus \    
--config.file=/usr/local/prometheus/prometheus.yml \     #配置文件
--storage.tsdb.path=/usr/local/prometheus/data/ \        #数据目录
--storage.tsdb.retention=15d \         #保存时间
--web.enable-lifecycle      #开启热加载
  
ExecReload=/bin/kill -HUP $MAINPID    #重载
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
复制代码 
[root@Prometheus prometheus]# systemctl restart prometheus 
[root@Prometheus prometheus]# systemctl enable prometheus
[root@Prometheus prometheus]# ss -antp|grep 9090

通过浏览器访问http:// 服务器 IP:9090 就可以访问到 Prometheus 的主界面：


默认只监控了本机一台，点 Status→点 Targets→可以看到只监控了本机：

通过 http:// 服务器 IP:9090/metrics 可以查看到监控的数据：

三、部署 Node Exporter 监控系统级指标

1、下载安装包

地址：https://prometheus.io/download/

监控远程主机（被监控端上安装node_Export192.168.10.131）组件

（1）上传所需要软件包到 /opt目录，并解压

复制代码 
[root@node opt]# tar xf node_exporter-1.8.1.linux-amd64.tar.gz 
[root@node opt]# ls
node_exporter-1.8.1.linux-amd64  node_exporter-1.8.1.linux-amd64.tar.gz  rh
[root@node opt]# cd node_exporter-1.8.1.linux-amd64/
[root@node node_exporter-1.8.1.linux-amd64]# ls
LICENSE  node_exporter  NOTICE
[root@node node_exporter-1.8.1.linux-amd64]# mv node_exporter /usr/local/bin/
[root@node node_exporter-1.8.1.linux-amd64]#

2、配置启动文件

复制代码 
[root@node ~]# vim /usr/lib/systemd/system/node_exporter.service

[Unit]
Description=mysqld_exporter
Documentation=https://prometheus.io/
After=network.target
 
[Service]
Type=simple
ExecStart=/usr/local/bin/node_exporter \
--collector.ntp \
--collector.mountstats \
--collector.systemd \
--collector.tcpstat
 
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

3、启动

复制代码 
[root@node ~]# systemctl start node_exporter.service 
[root@node ~]# systemctl enable node_exporter.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/node_exporter.service to /usr/lib/systemd/system/node_exporter.service.
[root@node ~]# ss -natp|grep 9100

浏览器访问：http://192.168.109.20:9100/metrics ，可以看到 Node Exporter 采集到的指标数据


通过浏览器访问 http:// 被监控端 IP:9100/metrics 就可以查看到 node_exporter 在被监控端收集的监控信息：

点击Metrics可以查看node_exporter 在被监控端收集的监控信息

（1）修改Prometheus配置文件

复制代码 
vim /usr/local/prometheus/prometheus.yml
  - job_name: 'agent'
    static_configs:
    - targets: ['192.168.10.131:9100']
[root@Prometheus prometheus]# systemctl restart prometheus.service    #修改完后重启服务
[root@Prometheus prometheus]# systemctl status prometheus

监测prometheus配置文件是否正确

复制代码 
[root@Prometheus prometheus]#cd /usr/local/prometheus
[root@Prometheus prometheus]# ./promtool check config prometheus.yml

成功状态

复制代码 
Checking prometheus.yml
 SUCCESS: prometheus.yml is valid prometheus config file syntax

失败状态

复制代码 
Checking prometheus.yml
  FAILED: parsing YAML file prometheus.yml: "172.16.11.209:9999/cs" is not a valid hostname

（2）访问Prometheus服务器，刷新

回到 web 管理界面→点 Status→点 Targets→可以看到多了一台监控目标

注：也可以在本机安装 node_exporter，使用上面的方式监控本机。

四、监控远程MySQL

在被管理机 agent上安装 mysqld_exporter 组件

1、下载安装包

地址：https://prometheus.io/download/

也可在服务器上直接下载

复制代码 
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.1/mysqld_exporter-0.15.1.linux-amd64.tar.gz

2、安装mysqld_exporter组件

复制代码 
[root@agent opt]# tar xf mysqld_exporter-0.14.0.linux-amd64.tar.gz -C /usr/local
[root@agent opt]# mv /usr/local/mysqld_exporter-0.14.0.linux-amd64/ /usr/local/mysqld_exporter
[root@agent opt]# ls /usr/local/mysqld_exporter/
LICENSE  mysqld_exporter  NOTICE

（1） 安装mariadb数据库，并授权

复制代码 
[root@node opt]# yum install mariadb\* -y
[root@node opt]# systemctl start  mariadb
[root@node opt]# systemctl enable mariadb
Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.
[root@node opt]# mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 2
Server version: 5.5.68-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> grant select,replication client,process ON *.* to 'mysql_monitor'@'192.168.10.131' identified by '123456'; 
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]>


（2）创建一个mariadb配置文件

创建一个mariadb配置文件，写上连接的用户名和密码（和上面的授权的用户名和密码要对应）

（3）配置启动文件

复制代码 
[root@node opt]# vim /usr/lib/systemd/system/mysqld_exporter.service

[Unit]
Description=node_exporter
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/mysqld_exporter \
--collector.ntp \
--collector.mountstats \
--collector.systemd \
--collector.tcpstat

ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
复制代码 
#启动
systemctl restart mysqld_exporter

#设置开机自启
systemctl enable mysqld_exporter

#查看端口是否启动9104
netstat -anput | grep 9104


第二种启动方式

复制代码 
#进入解压目录
cd /usr/local/mysqld_exporter

#挂后台执行 mysqld_exporter
nohup /usr/local/mysqld_exporter/mysqld_exporter --config.my-cnf=/usr/local/mysqld_exporter/.my.cnf &

#查看端口是否启动
netstat -anput | grep 9104

页面访问：IP:9104

客户端配置完成

3、配置服务端

复制代码 
[root@Prometheus ~]# vim /usr/local/prometheus/prometheus.yml

- job_name: "agetn-mysql"
    static_configs:    
      - targets: ["192.168.10.131:9104"]

[root@Prometheus ~]# systemctl restart prometheus.service

添加完后，重启服务

复制代码 
[root@Prometheus ~]# systemctl restart prometheus.service

等待重启完成，刷新一下页面，如果还是没有可以清除一下缓存，试试。

添加成功

五、Grafana平台部署

1、Grafana简介

Grafana是一种开源的数据可视化和监控平台，它允许用户通过创建动态仪表板来监视和分析数据。Grafana最初由Torkel Ödegaard于2014年创建，旨在为不同数据源提供统一的可视化界面。它支持多种数据源，包括但不限于Graphite、Prometheus、Elasticsearch、InfluxDB等。通过Grafana，用户可以轻松创建图标、图形和面板，以直观和动态的方式展示数据趋势、指标和报警。

随着公司业务的不断发展，业务种类的增加、服务器数量的增长和网络环境的复杂以及版本发布频繁，从而不可避免带来了线上事故的增多，因此需要对服务器进行全方位的监控，提前预警，急需一个工具来实现解决这个问题，而Grafana的出现完美解决了这个问题。

Grafana特点：

多数据源支持：可以从多种数据源中收集数据，并在同一仪表板中进行统一展示。

可视化选项丰富：提供了各种图表类型、样式和配置选项，用户可以根据需求定制图表。

告警功能：支持设置警报规则，并在达到特定条件时发送通知。

插件生态系统：拥有丰富的插件生态系统，用户可以根据需要扩展和定制功能。

社区支持 ：拥有活跃的开发社区，提供了丰富的文档、教程和支持资源。

2、Grafana起源与初衷

Grafana的起源可以追溯到2014年，由瑞典工程师Torkel Ödegaard创建。当时，Torkel是一位开发者，他感受到了在处理和展示不同数据源时的困难和不便。他意识到，许多组织和开发者都面临着类似的挑战，需要从多个数据源中收集数据，并以可视化的方式将其呈现出来。

因此，Torkel决定创建一个开源的数据可视化平台，旨在为用户提供统一的界面和工具，帮助他们轻松地监控和分析数据。他的初衷是构建一个灵活、易于使用且功能强大的平台，能够满足各种不同场景下的需求。在初始阶段，Grafana主要是为了满足Graphite这样的数据存储和可视化工具的需求而创建的。但随着时间的推移，Grafana的功能逐渐扩展，开始支持更多的数据源，如InfluxDB、Prometheus、Elasticsearch等，使其成为一个更加通用的数据可视化和监控平台。由于其开放源代码的特性，Grafana迅速得到了开发者和用户的欢迎，形成了一个活跃的社区。这个社区不断贡献新的功能、插件和改进，推动了Grafana的不断发展和壮大。

3、Grafana部署

下载地址：https://grafana.com/grafana/download

下载推荐rpm包，点击一下，就会自动下载；或者复制一下，粘贴到服务器上也会下载。

如果是直接在服务器执行下载的，直接等待下载完成启动即可，如果是下载的rpm包，就需要上传到服务器上，然后使用rpm -ivh grafana-enterprise-9.5.2-1.x86_64.rpm 进行安装；

如果是使用的二进制离线包安装的，默认是没有系统启动配置文件的，所以我们需要加一个：

复制代码 
#进入这个文件，默认是没有的，直接进入就行
vim /usr/lib/systemd/system/grafana.service 

#将下面的全部写进去
[Unit]
Description=Grafana instance
After=network.target

[Service]
Type=simple
WorkingDirectory=/data/monitor/grafana/
ExecStart=/data/monitor/grafana/bin/grafana-server
Restart=always

[Install]
WantedBy=multi-user.target


[root@Prometheus opt]# systemctl start grafana-server.service    #启动
[root@Prometheus opt]# systemctl enable grafana-server.service   #设置开机自启
[root@Prometheus opt]#ss -anput | grep 3000               #查看端口是否启动3000

页面访问 IP：port（3000）

复制代码 
注意：默认账号密码为：
账号：admin
密码：admin

grafana默认配置文件目录 /etc/grafana/grafana.ini

进去需要设置一个新的密码

4、配置数据源



点击保存测试

可以看到刚创建的模板

5、导入模板

点进去，选择：Dashboards-->从中选择任意一个模板，这里我选择第二个，点击import。

点击名称，进入可以查看模板

这里所展示的只是个模板

6、数据源做数据展示

点击右上角加号，再点击创建新的仪表板

选择刚刚添加的监控项


在这写了三个条件


再次点击dashboard可以查看到

自定义的监控模块（监控的服务端的1、5、15分钟的平均负载），一个一个添加比较麻烦，我们可以去找一些模板

7、导入监控模板

复制代码 
这里我们使用现成的模板导入即可，GitHub上面很多人开发了dashboards模板，官方社区上也有很多开源的dashboards模板，我们只需要把模板的Copy ID 或者 Download JSON文件导入到grafana即可，参考官网免费的dashboards模板。

官方模板地址：https://grafana.com/grafana/dashboards/

进入官网，往下拉，可以看到选择这几个，Data Source 选择Prometheus，然后搜索主机监控，或者自己定义，linux什么的都可以，根据自己的需求选择

可以看到右边有Copy ID 和 Download JSON，自行选择就行；这里我选择复制id，json需要下载

复制好id之后，打开在 grafana 页面中，+ Create -> Import ，输入面板 ID 号或者上传 JSON 文件，点击 Load，即可导入监控面板

添加完成后页面视图如下

相关推荐
眠修2 小时前
Kuberrnetes 服务发布
linux·运维·服务器
即将头秃的程序媛5 小时前
centos 7.9安装tomcat，并实现开机自启
linux·运维·centos
fangeqin5 小时前
ubuntu源码安装python3.13遇到Could not build the ssl module!解决方法
linux·python·ubuntu·openssl
爱奥尼欧6 小时前
【Linux 系统】基础IO——Linux中对文件的理解
linux·服务器·microsoft
超喜欢下雨天7 小时前
服务器安装 ros2时遇到底层库依赖冲突的问题
linux·运维·服务器·ros2
tan77º7 小时前
【Linux网络编程】网络基础
linux·服务器·网络
笑衬人心。8 小时前
Ubuntu 22.04 + MySQL 8 无密码登录问题与 root 密码重置指南
linux·mysql·ubuntu
chanalbert10 小时前
CentOS系统新手指导手册
linux·运维·centos
星宸追风10 小时前
Ubuntu更换Home目录所在硬盘的过程
linux·运维·ubuntu
热爱生活的猴子10 小时前
Poetry 在 Linux 和 Windows 系统中的安装步骤
linux·运维·windows
热门推荐
01Coze实战第13讲：飞书多维表格读取+豆包生图模型，轻松批量生成短剧封面02手机电脑之间快速传输图片视频文件，不压缩画质、不限制大小的方法！03Coze扣子平台完整体验和实践（附国内和国际版对比）04华为昇腾 910B 部署 DeepSeek-R1 蒸馏系列模型详细指南05免费可用！最强AI数字人对口型神器：让照片开口说话唱歌，支持多人对口型+全身动作，1分钟学会！（附保姆级教程）06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解072024年 最新 iPhone手机 历代机型、屏幕尺寸、纵横比、分辨率 整理08C#调用WechatOCR.exe实现本地OCR文字识别09DeepSeek各版本说明与优缺点分析10Coze平台 创建AI智能体的详细步骤指南