从实列中学习linux shell12 通过Shell脚本来优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

在Shell脚本中优化MySQL数据库性能,特别是慢SQL跟踪和索引优化

可以通过以下步骤实现。以下是一个结构化的解决方案,包含示例代码和详细说明:


1. 启用慢查询日志

目标:动态启用慢查询日志并配置参数,收集慢SQL数据。

bash 复制代码
#!/bin/bash

# 配置慢查询参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1  # 记录超过1秒的查询

# 动态启用慢查询日志(无需重启)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 可选:修改配置文件持久化设置(需重启MySQL)
sudo sed -i '/^#slow_query_log/ c\slow_query_log = ON' /etc/mysql/my.cnf
sudo sed -i "/^#long_query_time/ c\long_query_time = $LONG_QUERY_TIME" /etc/mysql/my.cnf
sudo systemctl restart mysql

echo "慢查询日志已启用,日志路径:$SLOW_LOG_PATH"

2. 分析慢查询日志

目标:使用工具分析日志并生成报告。

bash 复制代码
# 安装Percona Toolkit(如未安装)
if ! command -v pt-query-digest &> /dev/null; then
    echo "安装Percona Toolkit..."
    sudo apt-get install percona-toolkit
fi

# 生成慢查询分析报告
REPORT_FILE="slow_query_report.txt"
pt-query-digest $SLOW_LOG_PATH > $REPORT_FILE

echo "慢查询分析报告已生成:$REPORT_FILE"

3. 索引优化分析

目标:检查缺失或冗余索引,生成优化建议。

bash 复制代码
# 生成索引优化建议
INDEX_REPORT="index_optimization_report.txt"

# 检查未使用的索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" >> $INDEX_REPORT

# 检查冗余索引
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" >> $INDEX_REPORT

echo "索引优化建议已生成:$INDEX_REPORT"

4. 定期维护任务

目标:自动执行表分析和统计信息更新。

bash 复制代码
# 分析所有表以更新统计信息
DATABASES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|sys)")

for DB in $DATABASES; do
    TABLES=$(mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SHOW TABLES FROM $DB;" | tail -n +2)
    for TABLE in $TABLES; do
        mysql -u$MYSQL_USER -p$MYSQL_PASS -e "ANALYZE TABLE $DB.$TABLE;"
    done
done

echo "表统计信息已更新"

5. 自动化脚本整合

完整脚本示例:将上述步骤整合为定时任务。

bash 复制代码
#!/bin/bash

# 配置参数
MYSQL_USER="root"
MYSQL_PASS="your_password"
SLOW_LOG_PATH="/var/log/mysql/mysql-slow.log"
LONG_QUERY_TIME=1
REPORT_DIR="/opt/mysql_reports"

mkdir -p $REPORT_DIR

# 启用慢查询日志
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = $LONG_QUERY_TIME;
SET GLOBAL slow_query_log_file = '$SLOW_LOG_PATH';
"

# 等待收集数据(例如1小时)
sleep 3600

# 关闭慢查询日志(可选)
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "SET GLOBAL slow_query_log = 'OFF';"

# 生成慢查询报告
pt-query-digest $SLOW_LOG_PATH > $REPORT_DIR/slow_query_$(date +%F).txt

# 生成索引优化报告
mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT object_schema, object_name, index_name
FROM sys.schema_unused_indexes;
" > $REPORT_DIR/index_unused_$(date +%F).txt

mysql -u$MYSQL_USER -p$MYSQL_PASS -e "
SELECT table_schema, table_name, index_name, redundant_index_name
FROM sys.schema_redundant_indexes;
" > $REPORT_DIR/index_redundant_$(date +%F).txt

# 发送邮件通知(可选)
echo "性能报告已生成" | mail -A "$REPORT_DIR/*_$(date +%F).txt" [email protected]

关键说明

  1. 慢查询日志

    • 动态启用日志无需重启,但需确保log_output=FILE
    • 使用pt-query-digest可生成更详细的报告(比mysqldumpslow更强大)。
  2. 索引优化

    • 通过sys.schema_unused_indexesschema_redundant_indexes快速定位问题。
    • 生成报告后,手动审核建议再执行ALTER TABLE操作。
  3. 定期维护

    • 使用ANALYZE TABLE更新统计信息,帮助优化器选择更优的执行计划。
    • 可将脚本加入cron定时任务,例如每天凌晨执行。

注意事项

  • 权限 :确保MySQL用户有权限访问sys库和修改全局变量。
  • 日志管理:定期清理慢查询日志,避免磁盘空间不足。
  • 生产环境:谨慎在高峰时段启用日志,避免I/O压力。

通过上述脚本,可自动化实现MySQL性能监控与优化,显著提升数据库效率。

相关推荐
stormsha2 分钟前
GO语言进阶:掌握进程OS操作与高效编码数据转换
开发语言·数据库·后端·golang·go语言·源代码管理
尘埃不入你眼眸33 分钟前
MySQL的基础操作
数据库·mysql
不穿铠甲的穿山甲37 分钟前
本地(Linux)编译 MySQL 源码
linux·mysql·adb
yzlAurora1 小时前
MySQL问题:MVCC是什么?
数据库·oracle
小陈99cyh2 小时前
linux版本vmware修改ubuntu虚拟机为桥接模式
linux·ubuntu·桥接模式
small_white_robot2 小时前
Tomcat- AJP协议文件读取/命令执行漏洞(幽灵猫复现)详细步骤
java·linux·网络·安全·web安全·网络安全·tomcat
消失在人海中3 小时前
实时数仓和离线数仓的区别是什么?企业如何选择合适的数仓架构?
大数据·数据库·架构
普罗米修斯Aaron_Swartz3 小时前
WSL中ubuntu通过Windows带代理访问github
linux·运维·ubuntu
声声codeGrandMaster3 小时前
Django实现文件上传
数据库·后端·python·django
病树前头3 小时前
怎样将win11+ubuntu双系统的ubuntu从机械硬盘迁移至固态硬盘(1)
linux·运维·ubuntu