【prometheus+Grafana篇】基于Prometheus+Grafana实现MySQL数据库的监控与可视化

💫《博主主页》:

🔎 CSDN主页

🔎 IF Club社区主页

**🔥《擅长领域》:**擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控;并对SQLserver、NoSQL(MongoDB)有了解

💖如果觉得文章对你有所帮助,欢迎点赞收藏加关注💖

又是新的一周🚀,如标题所示这篇文章还是分享关于 Prometheus+Grafana 的文章📊,这次的监控对象是最流行的开源数据库MySQL!通过 Prometheus 采集MySQL数据库 的关键指标,再搭配 Grafana 强大的可视化能力,轻松打造一套高效的数据库监控系统。博主还会分享一些 常见的 MySQL 告警配置,帮助大家实时掌握数据库状态,提前发现潜在问题,避免线上故障!💡 话不多说,让我们直接进入正题吧!🎯

特别说明💥:

📌 开源仪表盘引用

  • **本文采用的MySQL数据库监控仪表盘直接使用了Grafana官网开源项目(Dashboard ID:**7362、7371、7365 ),非常感谢原作者的无私分享。关于Grafana的所有配置步骤均基于该开源仪表盘并验证通过,各位可一键导入快速搭建专业级的可视化监控。

⚡ 原创告警规则实现

  • 关于告警部分为博主独立开发完成,针对MySQL数据库实现了如下告警:

    • ✅ MySQL 实例不可用

    • ✅ MySQL 从库 IO 线程未运行

    • ✅ MySQL 从库 SQL 线程未运行

    • ✅ MySQL 复制延迟超限

    • ✅ MySQL 会话使用率过高

🔗 Prometheus+Grafana监控MySQL全流程

prometheus+Grafana全系列文章(实时更新 🔥 ):

|--------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 序号 | 文章 |
| 1 | 【prometheus+Grafana篇】Prometheus与Grafana:深入了解监控架构与数据可视化分析平台-CSDN博客 |
| 2 | 【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制部署-CSDN博客 |
| 3 | 【prometheus+Grafana篇】Prometheus告警规则参数全解析 + Alertmanager实现多平台告警(含电子邮件/企业微信群/飞书群/钉钉群接受方式)_grafana做飞书机器人报警-CSDN博客 |
| 4 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现Linux操作系统的监控与可视化-CSDN博客 |
| 5 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现windows操作系统的监控与可视化_grafana 监控 windows-CSDN博客 |
| 6 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现Oracle数据库的监控与可视化-CSDN博客 |
| 7 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现MySQL数据库的监控与可视化-CSDN博客 |


目录

[一、在MySQL 3306数据库上的操作](#一、在MySQL 3306数据库上的操作)

二、安装mysqld_exporter(mysqld_exporter:是prometheus的一个插件,抓取和收集MySQL数据库的各种运行指标用于分析)

1)下载mysqld_exporter安装包,选择download,然后选择mysqld_exporter

[2)选择Operating system(操作系统)为linux;选择Architecture(架构)为all](#2)选择Operating system(操作系统)为linux;选择Architecture(架构)为all)

3)目前mysqld_exporter最新版本为0.15.1。对于Arch(Architecture)架构,不同的架构名称代表不同的处理器架构或指令集体系结构,它们用于确定软件或操作系统在哪种硬件架构上运行。

4)解压二进制mysqld_exporter包

5)移动并重命名mysqld_exporter解压出来的目录

6)创建prometheus用户

7)赋权

[8)添加MySQL 3306端口的数据源。](#8)添加MySQL 3306端口的数据源。)

9)写入linux启动服务项

10)登录mysqld_exporter界面管理,默认端口为9104

[三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示](#三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示)

1)将mysqld_exporter的信息加入到prometheus监控的配置文件prometheus.yml中

2)配置告警规则文件

3)检查配置文件

4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)

5)在prometheus查看是否可以看到监控信息

6)登录Grafana界面管理,将当前主机的监控信息做展示

[一、下载一个仪表盘:Grafana官网"http://www.grafana.com"---Dashboard templates,然后选择一个下载量高的自己喜欢的mysqld_exporter(MySQL监控)](#一、下载一个仪表盘:Grafana官网“http://www.grafana.com”—Dashboard templates,然后选择一个下载量高的自己喜欢的mysqld_exporter(MySQL监控))

[二、将仪表盘添加到Grafana上:Dashboards---New---Import---点击"Upload dashboard JSON file"](#二、将仪表盘添加到Grafana上:Dashboards—New—Import—点击“Upload dashboard JSON file”)

三、仪表盘展示:Dashboards---查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去


监控MySQL信息如下:

|---------|-----------------|--------|-------------------|-----------------------------|
| 主机名 | IP地址 | 配置 | 系统 | 描述 |
| mysql | 110.120.100.190 | 4C 8G | Red Hat Linux 8.3 | 安装mysqld_exporter对这台服务器进行监控 |

**mysqld_exporter:**默认端口9104。抓取和收集MySQL数据库的各种运行指标用于分析

一、在MySQL 3306数据库上的操作

1)创建专属监控用户 (不建议使用root用户,root用户权限太高)

sql 复制代码
SQL> 
create user 'mysql_exporter'@'%' identified by '123456';
grant PROCESS, REPLICATION CLIENT, SELECT on *.* to 'mysql_exporter'@'%';

二、安装 mysqld_exporter mysqld_exporter :是p rometheus的一个插件 ,抓取和收集MySQL数据库的各种运行指标用于分析)

1)下载 mysqld_exporter 安装包,选择download,然后选择 mysqld_exporter

2)选择Operating system(操作系统)为 linux ;选择Architecture(架构)为 all

3)目前 mysqld_exporter 最新版本为0.15.1。对于Arch(Architecture)架构,不同的架构名称代表不同的处理器架构或指令集体系结构,它们用于确定软件或操作系统在哪种硬件架构上运行。

386: 这是 Intel 80386 处理器架构,也被称为 x86。它是早期的32位处理器架构。

amd64: 也称为 x86-64 或 x64,这是一种64位的处理器架构,由 AMD 公司推出。它是基于 x86 架构的64位扩展,现在广泛用于桌面和服务器系统。

arm64: 这是 ARMv8-A 的64位处理器架构,主要应用于 ARM 架构的64位处理器,包括用于服务器、移动设备和嵌入式系统的处理器。

armv5 和 armv6: 这两者都属于 ARM 架构的32位处理器架构,分别对应于较旧的 ARM 处理器。它们通常用于嵌入式系统和一些较老的移动设备。

............

4)解压二进制 mysqld_exporter

sql 复制代码
[root@mysql ~]# tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz

5)移动并重命名 mysqld_exporter 解压出来的目录

sql 复制代码
[root@mysql ~]# mkdir -p /opt/prometheus
[root@mysql ~]# mv mysqld_exporter-0.15.1.linux-amd64 /opt/prometheus/
[root@mysql ~]# mv /opt/prometheus/mysqld_exporter-0.15.1.linux-amd64 /opt/prometheus/mysqld_exporter

6)创建prometheus用户

sql 复制代码
[root@mysql ~]# groupadd prometheus
[root@mysql ~]# useradd -g prometheus -M -s /usr/sbin/nologin prometheus     ---创建一个名为prometheus的系统账号,该账号没有家目录并且不能登录Shell。这种设置适用于需要运行服务或任务而不需要用户交互的情况。
-M:不为用户创建家目录。对于系统服务账号来说,通常不需要家目录,因此使用 -M 可以跳过家目录的创建步骤。
-s /usr/sbin/nologin:指定用户登录时使用的Shell。将用户prometheus的登录Shell设置为/usr/sbin/nologin。nologin Shell的作用是阻止用户登录系统,但允许该用户拥有有效的系统账号。这通常用于服务账号,因为它们不需要交互式Shell访问,仅用于执行特定服务或任务。

[root@mysql ~]# passwd prometheus

[root@mysql ~]# id prometheus

7)赋权

sql 复制代码
[root@mysql ~]# chown -R prometheus:prometheus /opt/prometheus/mysqld_exporter

8)添加MySQL 3306端口的数据源。

sql 复制代码
[root@mysql ~]# cd /opt/prometheus/mysqld_exporter      
[root@mysql ~]# vi mysql3306.cnf        
##在mysqld_exporter的目录下编辑连接3306端口的MySQL实例,如果服务器上有多个实例,比如还有3307,那么还需要再编辑一个连接MySQL 3307的数据源
[client]
host=110.120.100.190
user=mysql_exporter
password=123456
port=3306

9)写入linux启动服务项

① 在linux8之后的系统上将mysqld_exporter配置到systemctl启动项中: 如果是在linux7的系统上为mysqld_exporter配置启动项就不能使用systemctl方式了,需要使用service方式,配置方式在下面。 对于收集linux系统层面信息的node-exporter插件就没有这个问题,不过是linux7还是linux8都可以通过systemctl启动

sql 复制代码
[root@mysql ~]# cd /usr/lib/systemd/system
[root@mysql ~]# vi mysqld3306_exporter.service     ###如果服务器上有多个实例,比如还有3307,那么需要再编辑一个连接MySQL 3307数据源的同时,也需要再写一个linux启动服务项
[Unit]
Description=mysqld_exporter
After=network.target

[Service]
Type=simple
User=prometheus
Group=prometheus
Restart=on-failure
ExecStart=/opt/prometheus/mysqld_exporter/mysqld_exporter --config.my-cnf="/opt/prometheus/mysqld_exporter/mysql3306.cnf" --web.listen-address=0.0.0.0:9104

[Install]
WantedBy=multi-user.target
[root@mysql ~]# systemctl daemon-reload
[root@mysql ~]# systemctl start mysqld3306_exporter.service
[root@mysql ~]# systemctl enable mysqld3306_exporter.service
[root@mysql ~]# systemctl status mysqld3306_exporter.service

###--config.my-cnf: 启动mysqld_exporter时指定--config.my-cnf的作用是告诉mysqld_exporter使用指定的MySQL配置文件来连接MySQL数据库。该配置文件通常包含连接所需的认证信息(如用户名和密码),以及其他数据库连接参数。这样可以确保 mysqld_exporter 以正确的权限和设置访问 MySQL,从而有效地收集监控数据。

###--web.listen-address=<address>:<port>: 指定服务端口。默认通过9104端口访问mysqld_exporter管理界面,可以修改成其他端口用于访问mysqld_exporter管理界面(如果没有修改端口的需求可以不设置这个参数)。此参数只能在mysqld_exporter命令启动时指定,不可以在配置文件prometheus.yml中指定。如果服务器上有多个实例,比如还有3307,那么需要再编辑一个连接MySQL 3307数据源的同时,也需要再写一个linux启动服务项

② 在linux7的系统上将mysqld_exporter配置到service启动项中: 在linux7.6系统版本中是支持systemctl方式的,但是将mysqld_exporter按照上面的方式配置到systemctl中就是启动不了,报如下错误:

sql 复制代码
[root@mysql ~]# systemctl status mysqld3306_exporter.service
sql 复制代码
[root@mysql ~]# tail -200f /var/log/messages    

###Jul 16 09:23:20 ha1 mysqld_exporter: ts=2024-07-16T01:23:20.992Z caller=mysqld_exporter.go:225 level=info msg="Error parsing host config" file="\"/opt/prometheus/mysqld_exporter/mysql3306.cnf\"" err="no configuration found" 报错的大致意思是找不到 /opt/prometheus/mysqld_exporter / mysql3306.cnf 文件中的配置,但是在linux8.3就没有问题,在linux7.6就出现了这个问题。

尝试直接启动mysqld_exporter,启动没有问题,所以判断是linux7.6和mysqld_exporter没有做好兼容:

sql 复制代码
[root@mysql ~]# /opt/prometheus/mysqld_exporter/mysqld_exporter --config.my-cnf="/opt/prometheus/mysqld_exporter/mysql3306.cnf" --web.listen-address=0.0.0.0:9104

通过service方式启动mysqld_exporter插件:

sql 复制代码
[root@mysql ~]# cd /etc/init.d/
[root@mysql ~]# vi mysqld3306_exporter
#!/bin/bash
# chkconfig: 2345 99 10
# description: MySQLD Exporter for MySQL instance on port 3306         ###如果定义3307,这里需要修改

DAEMON="/opt/prometheus/mysqld_exporter/mysqld_exporter"
DAEMON_OPTS="--config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf --web.listen-address=0.0.0.0:9104"  ###如果定义3307,这里需要修改。采集端口默认9104,改成9105

case "$1" in
  start)
    echo "Starting mysqld3306_exporter"     ###如果定义3307,这里需要修改
    $DAEMON $DAEMON_OPTS &
    ;;
  
  stop)
    echo "Stopping mysqld3306_exporter"     ###如果定义3307,这里需要修改
    pkill -f "$DAEMON --config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf"   ###如果定义3307,这里需要修改 
    ;;
  
  restart)
    $0 stop
    $0 start
;;

  status)
    PID=$(pgrep -f "$DAEMON --config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf")    ###如果定义3307,这里需要修改
    if [ -n "$PID" ]; then
      echo "mysqld3306_exporter is running with PID: $PID"     ###如果定义3307,这里需要修改
    else
      echo "mysqld3306_exporter is not running"                ###如果定义3307,这里需要修改
    fi
;;

  *)
    echo "Usage: $0 {start|stop|restart|status}"
    exit 1
    ;;
esac

exit 0
   
[root@mysql ~]# chmod 755  /etc/init.d/mysqld3306_exporter
[root@mysql ~]# chkconfig --add mysqld3306_exporter   ###将mysqld加入到服务中
 
[root@mysql ~]# service  mysqld3306_exporter  start
[root@mysql ~]# chkconfig  mysqld3306_exporter  on    ###开机启动mysqld服务
 
[root@mysql ~]# service mysqld3306_exporter status

### service mysqld3306_exporter status查询服务的PID,并且通过ps -ef | grep mysqld_exporter 查看 P ID是否一致

10)登录 mysqld_exporter 界面管理,默认端口为9104

http://110.120.100.190:9104/metrics

三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示

注意: 如下操作是在安装了prometheus和Grafana的主机上进行操作

1)将 mysqld_exporter 的信息加入到prometheus监控的配置文件prometheus.yml中

sql 复制代码
[root@prometheus ~]# vi /opt/prometheus/prometheus.yml     
在scrape_configs下面新增如下内容:

# mysqld_exporter配置
  - job_name: "mysqld_exporter"     ###job_name 用来唯一标识一个监控任务。在同一个 prometheus.yml 文件中,不同的 scrape_config可以有不同的job_name,以便 Prometheus 能够区分和管理不同的监控目标和配置,用来将不同的监控目标分组。单位为监控MySQL数据库设置一个独立的job_name
    scrape_interval: 15s            ###指定这个job_name每隔多久从每个目标(如 Exporter、应用端点)拉取一次指标数据。优先级:会覆盖全局的 global:scrape_interval(如果存在)。
    file_sd_configs:
      - files:
        - /opt/prometheus/conf.d/mysqld_targets.json      # MySQL需要监控的实例都单独写在了mysqld_targets.json文件中,是为了避免prometheus.yml内容过多,看起来更简洁


[root@prometheus ~]# vi /opt/prometheus/conf.d/mysqld_targets.json
[
  {
    "targets": [ "110.120.100.190:9104" ],
    "labels": { "instance": "MySQL数据库主库(IP:110.120.100.190,端口:3306)" }
  }
]

2)配置告警规则文件

除了如下告警规则之外,还需要单独配置一个Targets目标不可达(up)的相关规则,因为up 是一个布尔值指标,表示 Prometheus 是否能够成功地 scrape(抓取)到指定的目标(targets)数据,用于判断目标node-exporter相关进程是否在目标主机存活。关于up的规则文件参考:【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制部署-CSDN博客

sql 复制代码
[root@prometheus ~]# cd /opt/prometheus/rules/     ###在prometheus.yml文件中定义了告警规则文件rule_files参数
[root@prometheus rules]# vi mysqld_alerts.yml
    
groups:
  - name: mysqld_alerts
    rules:
      - alert: MySQLDown
        expr: mysql_up == 0
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MySQL 实例不可用"
          description: "MySQL 实例 {{ $labels.instance }} 当前不可用,请立即检查!"

      - alert: MySQLSlaveIOThreadNotRunning
        expr: mysql_slave_status_slave_io_running != 1
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MySQL 从库 IO 线程未运行"
          description: "警告:实例 {{ $labels.instance }} 的 MySQL 从库 IO 线程未处于运行状态,当前状态为 {{ $value }}。请及时检查主从复制配置和连接情况!"

      - alert: MySQLSlaveSQLThreadNotRunning
        expr: mysql_slave_status_slave_sql_running != 1
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MySQL 从库 SQL 线程未运行"
          description: "警告:实例 {{ $labels.instance }} 的 MySQL 从库 SQL 线程未处于运行状态,当前状态为 {{ $value }}。请及时检查主从复制配置和连接情况!"

      - alert: MySQLReplicationDelay
        expr: mysql_slave_status_seconds_behind_master > 30
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MySQL 复制延迟超限"
          description: "警告:实例 {{ $labels.instance }} 的 MySQL 复制延迟超过 30 秒,当前延迟为 {{ $value }} 秒。请检查主从复制状态和网络连接。"

      - alert: MySQLSessionUsage
        expr: (mysql_global_status_threads_connected / mysql_global_variables_max_connections) * 100 > 90
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MySQL 会话使用率过高"
          description: "当前 MySQL 实例 {{ $labels.instance }} 的会话连接数已达到最大连接数的 {{ $value | printf \"%.2f\" }}%,超过了 90%。请及时检查会话使用情况!"

3)检查配置文件

sql 复制代码
[root@prometheus ~]# cd /opt/prometheus/
[root@prometheus ~]# ./promtool check config prometheus.yml      ###用于检查 Prometheus 配置文件(prometheus.yml)的语法和格式是否正确。

执行这条命令会执行以下操作:

  1. 验证配置文件的语法:检查 prometheus.yml 文件是否符合 Prometheus 配置格式规范。
  2. 检测潜在的错误或警告:如果配置文件中存在拼写错误、格式问题、无效的配置项等问题,它会提供相关的错误信息或警告。比如告警规则写的不对,就会有提示
  3. 输出有用的诊断信息:如果配置文件存在问题,promtool 会输出详细的错误信息。

4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)

#重载:前提是在prometheus.service启动服务项中加了--web.enable-lifecycle参数: --web.enable-lifecycle:###启用Prometheus的生命周期接口,允许通过HTTP请求来动态重新加载配置等操作。 这对于在运行时更新配置或执行其他管理操作非常有用,当修改了prometheus的配置后,可以通过curl命令来重新加载配置文件,而不需要重启prometheus (推荐方式)

sql 复制代码
[root@prometheus ~]# curl -X POST http://localhost:9090/-/reload

#重启

sql 复制代码
[root@prometheus ~]# systemctl restart prometheus.service

5)在prometheus查看是否可以看到监控信息

网址:http://110.120.100.21:9090

菜单栏:Status---Targets

6)登录Grafana界面管理,将当前主机的监控信息做展示

地址:http://110.120.100.21:3000

默认用户:admin

默认密码:admin

一、下载一个仪表盘:Grafana官网"http://www.grafana.com"---Dashboard templates,然后选择一个下载量高的自己喜欢的 mysqld_exporter (MySQL监控)

注意: 不需要再增加数据源了。因为在第一次搭建prometheus+Grafana的时候就已经加好了,在添加数据源时,有个配置项是Connection,这里添加的是prometheus的地址,指的是prometheus监控服务器的地址,而不是node-exporter的地址

MySQL数据库基础监控:以7362为例, 新增了多个指标,比较全面,包括了多个MySQL基础监控指标项

MySQL数据库主从监控:以7371为例,主要是监控是从库的MySQL,包括IO线程状态、SQL线程状态、是否只读read only、复制延迟秒数、中继日志大小等等

MySQL数据库innoDB高阶监控:以7365为例,主要监控innodb buffer相关内容

二、将仪表盘添加到Grafana上:Dashboards---New---Import---点击"Upload dashboard JSON file"

Name: 定义名称,最好定义为主机ip加用途

Prometheus: 选择prometheus源,Prometheus监控源(ip:110.120.100.21:9090)

....

然后import

① MySQL数据库基础监控:MySQL Overview-7362_rev5.json

② MySQL数据库主从监控:MySQL Replication-7371_rev1.json

③ MySQL数据库innoDB高阶监控:MySQL InnoDB Metrics-7365_rev1.json

三、仪表盘展示: Dashboards---查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去

仪表盘Name: MySQL数据库监控
**数据源Name:**prometheus监控

Datasource: 选择在添加数据源时,已经定义好的"prometheus监控"。不过对于 mysqld_exporter 来说,这里没有

Job: 这里其实就是当时已经在配置prometheus.yml时,定义的job_name,也就是说Grafana会自动识别到。不过对于 mysqld_exporter 来说,这里没有

Host: 这里其实就是当时已经在配置prometheus.yml时,定义的instance,也就是说Grafana会自动识别到


今天的分享就到这里!🎊 通过 Prometheus+Grafana 监控 MySQL,我们不仅能直观地看到数据库的运行状态,还能通过告警机制第一时间发现问题,防患于未然。🛡️ 希望这篇文章能帮助大家更好地管理和优化自己的 MySQL 数据库!💪

如果你有任何问题或建议,欢迎在评论区留言交流~ 📢 我们下期再见!👋 祝大家运维顺利,数据库永葆健康!🍀

相关推荐
努力学习的小廉3 小时前
深入了解linux系统—— 库的制作和使用
linux·运维·单片机
Rm4 小时前
在 CentOS 7 上安装 MySQL 5.7 并使用 systemd 管理服务的自动化脚本
mysql·centos
444A4E5 小时前
深入解析 Linux 进程状态:从 task_struct 双链表到 R/S/D/Z 状态的内核奥秘
linux·操作系统
菠萝015 小时前
分布式CAP理论
数据库·c++·分布式·后端
国际云5 小时前
腾讯云国际站性能调优
运维·服务器·数据库·云计算·腾讯云
黑风风5 小时前
Ubuntu 22.04 上安装 PostgreSQL(使用官方 APT 源)
linux·ubuntu·postgresql
ruanjiananquan995 小时前
MySQL 数据库调优指南:提升性能的全面策略
数据库·mysql·oracle
眼镜哥(with glasses)6 小时前
0527漏洞原理:XSS笔记
运维·笔记·自动化
行星0086 小时前
Ubuntu 中安装 PostgreSQL 及常规操作指南
linux·ubuntu·postgresql
奋斗者1号6 小时前
提升WSL中Ubuntu编译速度的完整指南
linux·运维·ubuntu