从实列中学习linux shell12 通过Shell脚本来优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

在Shell脚本中优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

可以通过以下步骤实现。以下是一个结构化的解决方案,包含示例代码和详细说明:


1. 启用慢查询日志

目标:动态启用慢查询日志并配置参数,收集慢SQL数据。

bash 复制代码
#!/bin/bash

# 配置慢查询参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1  # 记录超过1秒的查询

# 动态启用慢查询日志(无需重启)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 可选:修改配置文件持久化设置(需重启MySQL)
sudo sed -i '/^#slow_query_log/ c\slow_query_log = ON' /etc/mysql/my.cnf
sudo sed -i "/^#long_query_time/ c\long_query_time = $LONG_QUERY_TIME" /etc/mysql/my.cnf
sudo systemctl restart mysql

echo "慢查询日志已启用,日志路径:$SLOW_LOG_PATH"

2. 分析慢查询日志

目标:使用工具分析日志并生成报告。

bash 复制代码
# 安装Percona Toolkit(如未安装)
if ! command -v pt-query-digest &> /dev/null; then
    echo "安装Percona Toolkit..."
    sudo apt-get install percona-toolkit
fi

# 生成慢查询分析报告
REPORT_FILE="slow_query_report.txt"
pt-query-digest $SLOW_LOG_PATH > $REPORT_FILE

echo "慢查询分析报告已生成:$REPORT_FILE"

3. 索引优化分析

目标:检查缺失或冗余索引,生成优化建议。

bash 复制代码
# 生成索引优化建议
INDEX_REPORT="index_optimization_report.txt"

# 检查未使用的索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" >> $INDEX_REPORT

# 检查冗余索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" >> $INDEX_REPORT

echo "索引优化建议已生成:$INDEX_REPORT"

4. 定期维护任务

目标:自动执行表分析和统计信息更新。

bash 复制代码
# 分析所有表以更新统计信息
DATABASES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|sys)")

for DB in $DATABASES; do
    TABLES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW TABLES FROM $DB;" | tail -n +2)
    for TABLE in $TABLES; do
        mysql -u$MYSQL_USER -p$MYSQL_PASS -e "ANALYZE TABLE $DB.$TABLE;"
    done
done

echo "表统计信息已更新"

5. 自动化脚本整合

完整脚本示例:将上述步骤整合为定时任务。

bash 复制代码
#!/bin/bash

# 配置参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1
REPORT_DIR="/opt/mysql_reports"

mkdir -p $REPORT_DIR

# 启用慢查询日志
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 等待收集数据(例如1小时)
sleep 3600

# 关闭慢查询日志(可选)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SET GLOBAL slow_query_log = 'OFF';"

# 生成慢查询报告
pt-query-digest $SLOW_LOG_PATH > $REPORT_DIR/slow_query_$(date +%F).txt

# 生成索引优化报告
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" > $REPORT_DIR/index_unused_$(date +%F).txt

mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" > $REPORT_DIR/index_redundant_$(date +%F).txt

# 发送邮件通知(可选)
echo "性能报告已生成" | mail -A "$REPORT_DIR/*_$(date +%F).txt" admin@example.com

关键说明

  1. 慢查询日志

    • 动态启用日志无需重启,但需确保log_output=FILE
    • 使用pt-query-digest可生成更详细的报告(比mysqldumpslow更强大)。
  2. 索引优化

    • 通过sys.schema_unused_indexesschema_redundant_indexes快速定位问题。
    • 生成报告后,手动审核建议再执行ALTER TABLE操作。
  3. 定期维护

    • 使用ANALYZE TABLE更新统计信息,帮助优化器选择更优的执行计划。
    • 可将脚本加入cron定时任务,例如每天凌晨执行。

注意事项

  • 权限 :确保MySQL用户有权限访问sys库和修改全局变量。
  • 日志管理:定期清理慢查询日志,避免磁盘空间不足。
  • 生产环境:谨慎在高峰时段启用日志,避免I/O压力。

通过上述脚本,可自动化实现MySQL性能监控与优化,显著提升数据库效率。

相关推荐
廿一夏6 小时前
MySql存储引擎与索引
数据库·sql·mysql
小鹏linux7 小时前
Ubuntu 22.04 部署开源免费具有精美现代web页面的Casdoor账号管理系统
linux·前端·ubuntu·开源·堡垒机
在角落发呆8 小时前
Linux转发配置:解锁网络互联的核心密码
linux·运维·网络
齐潇宇8 小时前
Zabbix 7 概述与配置
linux·zabbix·监控告警
lzhdim8 小时前
SQL 入门 15:SQL 事务:从 ACID 到四种常见的并发问题
数据库·sql
瀚高PG实验室9 小时前
瀚高企业版V9.1.1在pg_restore还原备份文件时提示extract函数语法问题
数据库·瀚高数据库
TDengine (老段)9 小时前
TDengine Tag 设计哲学与 Schema 变更机制
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
江公望9 小时前
Ubuntu htop命令,10分钟讲清楚
linux·服务器
哎呦,帅小伙哦9 小时前
Linux 时间:从原子钟到 clock_gettime 的每一面
linux·运维·服务器
张小姐的猫10 小时前
【Linux】多线程 —— 线程互斥
linux·运维·服务器·c++