从实列中学习linux shell12 通过Shell脚本来优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

在Shell脚本中优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

可以通过以下步骤实现。以下是一个结构化的解决方案,包含示例代码和详细说明:


1. 启用慢查询日志

目标:动态启用慢查询日志并配置参数,收集慢SQL数据。

bash 复制代码
#!/bin/bash

# 配置慢查询参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1  # 记录超过1秒的查询

# 动态启用慢查询日志(无需重启)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 可选:修改配置文件持久化设置(需重启MySQL)
sudo sed -i '/^#slow_query_log/ c\slow_query_log = ON' /etc/mysql/my.cnf
sudo sed -i "/^#long_query_time/ c\long_query_time = $LONG_QUERY_TIME" /etc/mysql/my.cnf
sudo systemctl restart mysql

echo "慢查询日志已启用,日志路径:$SLOW_LOG_PATH"

2. 分析慢查询日志

目标:使用工具分析日志并生成报告。

bash 复制代码
# 安装Percona Toolkit(如未安装)
if ! command -v pt-query-digest &> /dev/null; then
    echo "安装Percona Toolkit..."
    sudo apt-get install percona-toolkit
fi

# 生成慢查询分析报告
REPORT_FILE="slow_query_report.txt"
pt-query-digest $SLOW_LOG_PATH > $REPORT_FILE

echo "慢查询分析报告已生成:$REPORT_FILE"

3. 索引优化分析

目标:检查缺失或冗余索引,生成优化建议。

bash 复制代码
# 生成索引优化建议
INDEX_REPORT="index_optimization_report.txt"

# 检查未使用的索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" >> $INDEX_REPORT

# 检查冗余索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" >> $INDEX_REPORT

echo "索引优化建议已生成:$INDEX_REPORT"

4. 定期维护任务

目标:自动执行表分析和统计信息更新。

bash 复制代码
# 分析所有表以更新统计信息
DATABASES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|sys)")

for DB in $DATABASES; do
    TABLES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW TABLES FROM $DB;" | tail -n +2)
    for TABLE in $TABLES; do
        mysql -u$MYSQL_USER -p$MYSQL_PASS -e "ANALYZE TABLE $DB.$TABLE;"
    done
done

echo "表统计信息已更新"

5. 自动化脚本整合

完整脚本示例:将上述步骤整合为定时任务。

bash 复制代码
#!/bin/bash

# 配置参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1
REPORT_DIR="/opt/mysql_reports"

mkdir -p $REPORT_DIR

# 启用慢查询日志
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 等待收集数据(例如1小时)
sleep 3600

# 关闭慢查询日志(可选)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SET GLOBAL slow_query_log = 'OFF';"

# 生成慢查询报告
pt-query-digest $SLOW_LOG_PATH > $REPORT_DIR/slow_query_$(date +%F).txt

# 生成索引优化报告
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" > $REPORT_DIR/index_unused_$(date +%F).txt

mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" > $REPORT_DIR/index_redundant_$(date +%F).txt

# 发送邮件通知(可选)
echo "性能报告已生成" | mail -A "$REPORT_DIR/*_$(date +%F).txt" admin@example.com

关键说明

  1. 慢查询日志:

    • 动态启用日志无需重启,但需确保log_output=FILE。
    • 使用pt-query-digest可生成更详细的报告(比mysqldumpslow更强大)。
  2. 索引优化:

    • 通过sys.schema_unused_indexes和schema_redundant_indexes快速定位问题。
    • 生成报告后,手动审核建议再执行ALTER TABLE操作。
  3. 定期维护:

    • 使用ANALYZE TABLE更新统计信息,帮助优化器选择更优的执行计划。
    • 可将脚本加入cron定时任务,例如每天凌晨执行。

注意事项

  • 权限 :确保MySQL用户有权限访问sys库和修改全局变量。
  • 日志管理:定期清理慢查询日志,避免磁盘空间不足。
  • 生产环境:谨慎在高峰时段启用日志,避免I/O压力。

通过上述脚本,可自动化实现MySQL性能监控与优化,显著提升数据库效率。

相关推荐
这个DBA有点耶5 小时前
从症状到根因:数据库监控指标的分层方法与静态/动态阈值策略
数据库·mysql·代码规范
GeW6 小时前
新质生产力路线图Linux、数据库、国产化替代一次讲透
linux
SelectDB6 小时前
时间旅行与快照能力速查:Doris 侧三条落地路径
大数据·数据库·数据分析
SelectDB6 小时前
云数仓成本结构拆解速查:五层计费 vs Doris / 托管形态
大数据·数据库·数据分析
SelectDB6 小时前
什么场景能承接与建议保留:Doris vs Snowflake 边界速查
大数据·数据库·数据分析
aningx8 小时前
cachyos 从 GRUB 切换到 rEFInd
linux
这个DBA有点耶8 小时前
DELETE没删多少数据,表却越来越大——InnoDB删除空洞与页合并失效的根因
数据库·mysql·代码规范
第404号工位9 小时前
40块钱二手瘦客户端,如何跑满家庭物联网中枢?(拒绝Docker爆盘实录)
linux·架构·node.js
骑着蜗牛撵大象32711 小时前
Linux 进程间通信之管道:从 pipe() 的内核语义到 FIFO 落地排错
android·java·linux·系统编程·fifo·管道·进程间通信