💫《博主主页》:
🔎 CSDN主页
**🔥《擅长领域》:**擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控;并对SQLserver、NoSQL(MongoDB)有了解
💖如果觉得文章对你有所帮助,欢迎点赞收藏加关注💖

又是新的一周🚀,如标题所示这篇文章还是分享关于 Prometheus+Grafana 的文章📊,这次的监控对象是最流行的开源数据库MySQL!通过 Prometheus 采集MySQL数据库 的关键指标,再搭配 Grafana 强大的可视化能力,轻松打造一套高效的数据库监控系统。博主还会分享一些 常见的 MySQL 告警配置,帮助大家实时掌握数据库状态,提前发现潜在问题,避免线上故障!💡 话不多说,让我们直接进入正题吧!🎯
特别说明💥:
📌 开源仪表盘引用
- **本文采用的MySQL数据库监控仪表盘直接使用了Grafana官网开源项目(Dashboard ID:**7362、7371、7365 ),非常感谢原作者的无私分享。关于Grafana的所有配置步骤均基于该开源仪表盘并验证通过,各位可一键导入快速搭建专业级的可视化监控。
⚡ 原创告警规则实现
关于告警部分为博主独立开发完成,针对MySQL数据库实现了如下告警:
✅ MySQL 实例不可用
✅ MySQL 从库 IO 线程未运行
✅ MySQL 从库 SQL 线程未运行
✅ MySQL 复制延迟超限
✅ MySQL 会话使用率过高
🔗 Prometheus+Grafana监控MySQL全流程
prometheus+Grafana全系列文章(实时更新 🔥 ):
|--------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 序号 | 文章 |
| 1 | 【prometheus+Grafana篇】Prometheus与Grafana:深入了解监控架构与数据可视化分析平台-CSDN博客 |
| 2 | 【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制部署-CSDN博客 |
| 3 | 【prometheus+Grafana篇】Prometheus告警规则参数全解析 + Alertmanager实现多平台告警(含电子邮件/企业微信群/飞书群/钉钉群接受方式)_grafana做飞书机器人报警-CSDN博客 |
| 4 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现Linux操作系统的监控与可视化-CSDN博客 |
| 5 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现windows操作系统的监控与可视化_grafana 监控 windows-CSDN博客 |
| 6 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现Oracle数据库的监控与可视化-CSDN博客 |
| 7 | 【prometheus+Grafana篇】基于Prometheus+Grafana实现MySQL数据库的监控与可视化-CSDN博客 |
目录
[一、在MySQL 3306数据库上的操作](#一、在MySQL 3306数据库上的操作)
二、安装mysqld_exporter(mysqld_exporter:是prometheus的一个插件,抓取和收集MySQL数据库的各种运行指标用于分析)
1)下载mysqld_exporter安装包,选择download,然后选择mysqld_exporter
[2)选择Operating system(操作系统)为linux;选择Architecture(架构)为all](#2)选择Operating system(操作系统)为linux;选择Architecture(架构)为all)
5)移动并重命名mysqld_exporter解压出来的目录
[8)添加MySQL 3306端口的数据源。](#8)添加MySQL 3306端口的数据源。)
10)登录mysqld_exporter界面管理,默认端口为9104
[三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示](#三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示)
1)将mysqld_exporter的信息加入到prometheus监控的配置文件prometheus.yml中
4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)
[一、下载一个仪表盘:Grafana官网"http://www.grafana.com"---Dashboard templates,然后选择一个下载量高的自己喜欢的mysqld_exporter(MySQL监控)](#一、下载一个仪表盘:Grafana官网“http://www.grafana.com”—Dashboard templates,然后选择一个下载量高的自己喜欢的mysqld_exporter(MySQL监控))
[二、将仪表盘添加到Grafana上:Dashboards---New---Import---点击"Upload dashboard JSON file"](#二、将仪表盘添加到Grafana上:Dashboards—New—Import—点击“Upload dashboard JSON file”)
三、仪表盘展示:Dashboards---查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去
监控MySQL信息如下:
|---------|-----------------|--------|-------------------|-----------------------------|
| 主机名 | IP地址 | 配置 | 系统 | 描述 |
| mysql | 110.120.100.190 | 4C 8G | Red Hat Linux 8.3 | 安装mysqld_exporter对这台服务器进行监控 |
**mysqld_exporter:**默认端口9104。抓取和收集MySQL数据库的各种运行指标用于分析
一、在MySQL 3306数据库上的操作
1)创建专属监控用户 (不建议使用root用户,root用户权限太高)
sqlSQL> create user 'mysql_exporter'@'%' identified by '123456'; grant PROCESS, REPLICATION CLIENT, SELECT on *.* to 'mysql_exporter'@'%';
二、安装 mysqld_exporter ( mysqld_exporter :是p rometheus的一个插件 ,抓取和收集MySQL数据库的各种运行指标用于分析)
1)下载 mysqld_exporter 安装包,选择download,然后选择 mysqld_exporter
2)选择Operating system(操作系统)为 linux ;选择Architecture(架构)为 all
3)目前 mysqld_exporter 最新版本为0.15.1。对于Arch(Architecture)架构,不同的架构名称代表不同的处理器架构或指令集体系结构,它们用于确定软件或操作系统在哪种硬件架构上运行。
386: 这是 Intel 80386 处理器架构,也被称为 x86。它是早期的32位处理器架构。
amd64: 也称为 x86-64 或 x64,这是一种64位的处理器架构,由 AMD 公司推出。它是基于 x86 架构的64位扩展,现在广泛用于桌面和服务器系统。
arm64: 这是 ARMv8-A 的64位处理器架构,主要应用于 ARM 架构的64位处理器,包括用于服务器、移动设备和嵌入式系统的处理器。
armv5 和 armv6: 这两者都属于 ARM 架构的32位处理器架构,分别对应于较旧的 ARM 处理器。它们通常用于嵌入式系统和一些较老的移动设备。
............
4)解压二进制 mysqld_exporter 包
sql[root@mysql ~]# tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz
5)移动并重命名 mysqld_exporter 解压出来的目录
sql[root@mysql ~]# mkdir -p /opt/prometheus [root@mysql ~]# mv mysqld_exporter-0.15.1.linux-amd64 /opt/prometheus/ [root@mysql ~]# mv /opt/prometheus/mysqld_exporter-0.15.1.linux-amd64 /opt/prometheus/mysqld_exporter
6)创建prometheus用户
sql[root@mysql ~]# groupadd prometheus [root@mysql ~]# useradd -g prometheus -M -s /usr/sbin/nologin prometheus ---创建一个名为prometheus的系统账号,该账号没有家目录并且不能登录Shell。这种设置适用于需要运行服务或任务而不需要用户交互的情况。 -M:不为用户创建家目录。对于系统服务账号来说,通常不需要家目录,因此使用 -M 可以跳过家目录的创建步骤。 -s /usr/sbin/nologin:指定用户登录时使用的Shell。将用户prometheus的登录Shell设置为/usr/sbin/nologin。nologin Shell的作用是阻止用户登录系统,但允许该用户拥有有效的系统账号。这通常用于服务账号,因为它们不需要交互式Shell访问,仅用于执行特定服务或任务。 [root@mysql ~]# passwd prometheus [root@mysql ~]# id prometheus
7)赋权
sql[root@mysql ~]# chown -R prometheus:prometheus /opt/prometheus/mysqld_exporter
8)添加MySQL 3306端口的数据源。
sql[root@mysql ~]# cd /opt/prometheus/mysqld_exporter [root@mysql ~]# vi mysql3306.cnf ##在mysqld_exporter的目录下编辑连接3306端口的MySQL实例,如果服务器上有多个实例,比如还有3307,那么还需要再编辑一个连接MySQL 3307的数据源 [client] host=110.120.100.190 user=mysql_exporter password=123456 port=3306
9)写入linux启动服务项
① 在linux8之后的系统上将mysqld_exporter配置到systemctl启动项中: 如果是在linux7的系统上为mysqld_exporter配置启动项就不能使用systemctl方式了,需要使用service方式,配置方式在下面。 对于收集linux系统层面信息的node-exporter插件就没有这个问题,不过是linux7还是linux8都可以通过systemctl启动
sql[root@mysql ~]# cd /usr/lib/systemd/system [root@mysql ~]# vi mysqld3306_exporter.service ###如果服务器上有多个实例,比如还有3307,那么需要再编辑一个连接MySQL 3307数据源的同时,也需要再写一个linux启动服务项 [Unit] Description=mysqld_exporter After=network.target [Service] Type=simple User=prometheus Group=prometheus Restart=on-failure ExecStart=/opt/prometheus/mysqld_exporter/mysqld_exporter --config.my-cnf="/opt/prometheus/mysqld_exporter/mysql3306.cnf" --web.listen-address=0.0.0.0:9104 [Install] WantedBy=multi-user.target [root@mysql ~]# systemctl daemon-reload [root@mysql ~]# systemctl start mysqld3306_exporter.service [root@mysql ~]# systemctl enable mysqld3306_exporter.service [root@mysql ~]# systemctl status mysqld3306_exporter.service
###--config.my-cnf: 启动mysqld_exporter时指定--config.my-cnf的作用是告诉mysqld_exporter使用指定的MySQL配置文件来连接MySQL数据库。该配置文件通常包含连接所需的认证信息(如用户名和密码),以及其他数据库连接参数。这样可以确保 mysqld_exporter 以正确的权限和设置访问 MySQL,从而有效地收集监控数据。
###--web.listen-address=<address>:<port>: 指定服务端口。默认通过9104端口访问mysqld_exporter管理界面,可以修改成其他端口用于访问mysqld_exporter管理界面(如果没有修改端口的需求可以不设置这个参数)。此参数只能在mysqld_exporter命令启动时指定,不可以在配置文件prometheus.yml中指定。如果服务器上有多个实例,比如还有3307,那么需要再编辑一个连接MySQL 3307数据源的同时,也需要再写一个linux启动服务项
② 在linux7的系统上将mysqld_exporter配置到service启动项中: 在linux7.6系统版本中是支持systemctl方式的,但是将mysqld_exporter按照上面的方式配置到systemctl中就是启动不了,报如下错误:
sql[root@mysql ~]# systemctl status mysqld3306_exporter.service
sql[root@mysql ~]# tail -200f /var/log/messages
###Jul 16 09:23:20 ha1 mysqld_exporter: ts=2024-07-16T01:23:20.992Z caller=mysqld_exporter.go:225 level=info msg="Error parsing host config" file="\"/opt/prometheus/mysqld_exporter/mysql3306.cnf\"" err="no configuration found" 报错的大致意思是找不到 /opt/prometheus/mysqld_exporter / mysql3306.cnf 文件中的配置,但是在linux8.3就没有问题,在linux7.6就出现了这个问题。
尝试直接启动mysqld_exporter,启动没有问题,所以判断是linux7.6和mysqld_exporter没有做好兼容:
sql[root@mysql ~]# /opt/prometheus/mysqld_exporter/mysqld_exporter --config.my-cnf="/opt/prometheus/mysqld_exporter/mysql3306.cnf" --web.listen-address=0.0.0.0:9104
通过service方式启动mysqld_exporter插件:
sql[root@mysql ~]# cd /etc/init.d/ [root@mysql ~]# vi mysqld3306_exporter #!/bin/bash # chkconfig: 2345 99 10 # description: MySQLD Exporter for MySQL instance on port 3306 ###如果定义3307,这里需要修改 DAEMON="/opt/prometheus/mysqld_exporter/mysqld_exporter" DAEMON_OPTS="--config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf --web.listen-address=0.0.0.0:9104" ###如果定义3307,这里需要修改。采集端口默认9104,改成9105 case "$1" in start) echo "Starting mysqld3306_exporter" ###如果定义3307,这里需要修改 $DAEMON $DAEMON_OPTS & ;; stop) echo "Stopping mysqld3306_exporter" ###如果定义3307,这里需要修改 pkill -f "$DAEMON --config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf" ###如果定义3307,这里需要修改 ;; restart) $0 stop $0 start ;; status) PID=$(pgrep -f "$DAEMON --config.my-cnf=/opt/prometheus/mysqld_exporter/mysql3306.cnf") ###如果定义3307,这里需要修改 if [ -n "$PID" ]; then echo "mysqld3306_exporter is running with PID: $PID" ###如果定义3307,这里需要修改 else echo "mysqld3306_exporter is not running" ###如果定义3307,这里需要修改 fi ;; *) echo "Usage: $0 {start|stop|restart|status}" exit 1 ;; esac exit 0 [root@mysql ~]# chmod 755 /etc/init.d/mysqld3306_exporter [root@mysql ~]# chkconfig --add mysqld3306_exporter ###将mysqld加入到服务中 [root@mysql ~]# service mysqld3306_exporter start [root@mysql ~]# chkconfig mysqld3306_exporter on ###开机启动mysqld服务 [root@mysql ~]# service mysqld3306_exporter status
### service mysqld3306_exporter status查询服务的PID,并且通过ps -ef | grep mysqld_exporter 查看 P ID是否一致
10)登录 mysqld_exporter 界面管理,默认端口为9104
http://110.120.100.190:9104/metrics
三、将当前MySQL 3306加入到prometheus监控,并通过Grafana展示
注意: 如下操作是在安装了prometheus和Grafana的主机上进行操作
1)将 mysqld_exporter 的信息加入到prometheus监控的配置文件prometheus.yml中
sql[root@prometheus ~]# vi /opt/prometheus/prometheus.yml 在scrape_configs下面新增如下内容: # mysqld_exporter配置 - job_name: "mysqld_exporter" ###job_name 用来唯一标识一个监控任务。在同一个 prometheus.yml 文件中,不同的 scrape_config可以有不同的job_name,以便 Prometheus 能够区分和管理不同的监控目标和配置,用来将不同的监控目标分组。单位为监控MySQL数据库设置一个独立的job_name scrape_interval: 15s ###指定这个job_name每隔多久从每个目标(如 Exporter、应用端点)拉取一次指标数据。优先级:会覆盖全局的 global:scrape_interval(如果存在)。 file_sd_configs: - files: - /opt/prometheus/conf.d/mysqld_targets.json # MySQL需要监控的实例都单独写在了mysqld_targets.json文件中,是为了避免prometheus.yml内容过多,看起来更简洁 [root@prometheus ~]# vi /opt/prometheus/conf.d/mysqld_targets.json [ { "targets": [ "110.120.100.190:9104" ], "labels": { "instance": "MySQL数据库主库(IP:110.120.100.190,端口:3306)" } } ]
2)配置告警规则文件
除了如下告警规则之外,还需要单独配置一个Targets目标不可达(up)的相关规则,因为up 是一个布尔值指标,表示 Prometheus 是否能够成功地 scrape(抓取)到指定的目标(targets)数据,用于判断目标node-exporter相关进程是否在目标主机存活。关于up的规则文件参考:【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制部署-CSDN博客
sql[root@prometheus ~]# cd /opt/prometheus/rules/ ###在prometheus.yml文件中定义了告警规则文件rule_files参数 [root@prometheus rules]# vi mysqld_alerts.yml groups: - name: mysqld_alerts rules: - alert: MySQLDown expr: mysql_up == 0 for: 3s labels: severity: critical annotations: summary: "MySQL 实例不可用" description: "MySQL 实例 {{ $labels.instance }} 当前不可用,请立即检查!" - alert: MySQLSlaveIOThreadNotRunning expr: mysql_slave_status_slave_io_running != 1 for: 3s labels: severity: critical annotations: summary: "MySQL 从库 IO 线程未运行" description: "警告:实例 {{ $labels.instance }} 的 MySQL 从库 IO 线程未处于运行状态,当前状态为 {{ $value }}。请及时检查主从复制配置和连接情况!" - alert: MySQLSlaveSQLThreadNotRunning expr: mysql_slave_status_slave_sql_running != 1 for: 3s labels: severity: critical annotations: summary: "MySQL 从库 SQL 线程未运行" description: "警告:实例 {{ $labels.instance }} 的 MySQL 从库 SQL 线程未处于运行状态,当前状态为 {{ $value }}。请及时检查主从复制配置和连接情况!" - alert: MySQLReplicationDelay expr: mysql_slave_status_seconds_behind_master > 30 for: 3s labels: severity: critical annotations: summary: "MySQL 复制延迟超限" description: "警告:实例 {{ $labels.instance }} 的 MySQL 复制延迟超过 30 秒,当前延迟为 {{ $value }} 秒。请检查主从复制状态和网络连接。" - alert: MySQLSessionUsage expr: (mysql_global_status_threads_connected / mysql_global_variables_max_connections) * 100 > 90 for: 3s labels: severity: critical annotations: summary: "MySQL 会话使用率过高" description: "当前 MySQL 实例 {{ $labels.instance }} 的会话连接数已达到最大连接数的 {{ $value | printf \"%.2f\" }}%,超过了 90%。请及时检查会话使用情况!"
3)检查配置文件
sql[root@prometheus ~]# cd /opt/prometheus/ [root@prometheus ~]# ./promtool check config prometheus.yml ###用于检查 Prometheus 配置文件(prometheus.yml)的语法和格式是否正确。
执行这条命令会执行以下操作:
- 验证配置文件的语法:检查 prometheus.yml 文件是否符合 Prometheus 配置格式规范。
- 检测潜在的错误或警告:如果配置文件中存在拼写错误、格式问题、无效的配置项等问题,它会提供相关的错误信息或警告。比如告警规则写的不对,就会有提示
- 输出有用的诊断信息:如果配置文件存在问题,promtool 会输出详细的错误信息。
4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)
#重载:前提是在prometheus.service启动服务项中加了--web.enable-lifecycle参数: --web.enable-lifecycle:###启用Prometheus的生命周期接口,允许通过HTTP请求来动态重新加载配置等操作。 这对于在运行时更新配置或执行其他管理操作非常有用,当修改了prometheus的配置后,可以通过curl命令来重新加载配置文件,而不需要重启prometheus (推荐方式)
sql[root@prometheus ~]# curl -X POST http://localhost:9090/-/reload
#重启
sql[root@prometheus ~]# systemctl restart prometheus.service
5)在prometheus查看是否可以看到监控信息
菜单栏:Status---Targets
6)登录Grafana界面管理,将当前主机的监控信息做展示
默认用户:admin
默认密码:admin
一、下载一个仪表盘:Grafana官网"http://www.grafana.com"---Dashboard templates,然后选择一个下载量高的自己喜欢的 mysqld_exporter (MySQL监控)
注意: 不需要再增加数据源了。因为在第一次搭建prometheus+Grafana的时候就已经加好了,在添加数据源时,有个配置项是Connection,这里添加的是prometheus的地址,指的是prometheus监控服务器的地址,而不是node-exporter的地址
MySQL数据库基础监控:以7362为例, 新增了多个指标,比较全面,包括了多个MySQL基础监控指标项
MySQL数据库主从监控:以7371为例,主要是监控是从库的MySQL,包括IO线程状态、SQL线程状态、是否只读read only、复制延迟秒数、中继日志大小等等
MySQL数据库innoDB高阶监控:以7365为例,主要监控innodb buffer相关内容
二、将仪表盘添加到Grafana上:Dashboards---New---Import---点击"Upload dashboard JSON file"
Name: 定义名称,最好定义为主机ip加用途
Prometheus: 选择prometheus源,Prometheus监控源(ip:110.120.100.21:9090)
....
然后import
① MySQL数据库基础监控:MySQL Overview-7362_rev5.json
② MySQL数据库主从监控:MySQL Replication-7371_rev1.json
③ MySQL数据库innoDB高阶监控:MySQL InnoDB Metrics-7365_rev1.json
三、仪表盘展示: Dashboards---查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去
仪表盘Name: MySQL数据库监控
**数据源Name:**prometheus监控Datasource: 选择在添加数据源时,已经定义好的"prometheus监控"。不过对于 mysqld_exporter 来说,这里没有
Job: 这里其实就是当时已经在配置prometheus.yml时,定义的job_name,也就是说Grafana会自动识别到。不过对于 mysqld_exporter 来说,这里没有
Host: 这里其实就是当时已经在配置prometheus.yml时,定义的instance,也就是说Grafana会自动识别到
今天的分享就到这里!🎊 通过 Prometheus+Grafana 监控 MySQL,我们不仅能直观地看到数据库的运行状态,还能通过告警机制第一时间发现问题,防患于未然。🛡️ 希望这篇文章能帮助大家更好地管理和优化自己的 MySQL 数据库!💪
如果你有任何问题或建议,欢迎在评论区留言交流~ 📢 我们下期再见!👋 祝大家运维顺利,数据库永葆健康!🍀