经验笔记：SQL调优

漆黑的莫莫2024-09-11 21:31

SQL调优经验笔记

引言

SQL调优是确保数据库系统高效运行的重要环节。通过对查询语句、数据库配置、硬件资源等方面进行优化，可以显著提升数据库性能，进而增强应用程序的整体表现。以下是基于常见调优手段和实践经验整理的一份经验笔记。

1. 查询语句优化
  • 1.1 避免使用SELECT *
    只选择需要的列，减少不必要的数据传输。
    示例：
sql 复制代码 
-- 不推荐
SELECT * FROM users WHERE id = 1;

-- 推荐
SELECT first_name, last_name, email FROM users WHERE id = 1;
  • 1.2 用UNION ALL代替UNION
    UNION ALL不进行去重操作，执行速度更快。
    示例：
sql 复制代码 
-- 不推荐
(SELECT first_name, last_name FROM users WHERE city = 'New York')
UNION
(SELECT first_name, last_name FROM users WHERE city = 'Los Angeles');

-- 推荐
(SELECT first_name, last_name FROM users WHERE city = 'New York')
UNION ALL
(SELECT first_name, last_name FROM users WHERE city = 'Los Angeles');

  • 1.3 小表驱动大表

    描述：在连接查询中，如果有一个小表和一个大表，应该优先使用小表来驱动大表，以减少处理的数据量。

    不推荐：

    sql 复制代码 
    SELECT * FROM orders o JOIN users u ON o.user_id = u.id WHERE u.status = 'active';

    这个查询会先从orders表开始，然后对于每一个orders表中的记录，都会去users表中查找匹配的记录。如果orders表很大，而符合条件的users很少，那么这种查询效率不高。

    推荐：

    sql 复制代码 
    SELECT * FROM orders o WHERE o.user_id IN (SELECT id FROM users WHERE status = 'active');

    这个查询先从users表中找出所有状态为active的用户ID，然后从orders表中选择那些用户ID包含在这些活跃用户ID中的订单记录。这种方式减少了处理orders表的数据量。

  • 1.4 批量操作

    批量插入或更新数据，减少请求次数，提高性能。

    示例：

    sql 复制代码 
    -- 不推荐
INSERT INTO orders (order_id, product_id, quantity) VALUES (1, 1, 10);
INSERT INTO orders (order_id, product_id, quantity) VALUES (2, 2, 20);
INSERT INTO orders (order_id, product_id, quantity) VALUES (3, 3, 30);

-- 推荐
INSERT INTO orders (order_id, product_id, quantity) VALUES (1, 1, 10), (2, 2, 20), (3, 3, 30);

  • 1.5 多用LIMIT

    限制查询结果的数量，提高查询效率。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT * FROM orders ORDER BY order_date DESC;

-- 推荐
SELECT * FROM orders ORDER BY order_date DESC LIMIT 10;

  • 1.6 限制IN子句中的值

    避免查询大量数据导致接口超时。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT * FROM categories WHERE id IN (1, 2, 3, ..., 10000);

-- 推荐
SELECT * FROM categories WHERE id IN (1, 2, 3, ..., 100) LIMIT 500;

  • 1.7 增量查询

    通过条件限制，每次只查询部分数据，提高同步效率。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT * FROM users WHERE create_time > '2024-01-01';

-- 推荐
SELECT * FROM users WHERE id > #{lastId} AND create_time >= #{lastCreateTime} LIMIT 100;

  • 1.8 高效的分页

    使用ID范围查询代替偏移量分页。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT * FROM users LIMIT 1000, 20;

-- 推荐
SELECT * FROM users WHERE id > 1000000 LIMIT 20;

  • 1.9 用连接查询代替子查询

    描述：使用连接查询而不是子查询，以减少临时表的创建，提高查询效率。

    不推荐：

    sql 复制代码 
    SELECT * FROM orders WHERE user_id = (SELECT id FROM users WHERE status = 'active');

    这里假设只有一个用户的status为active。如果有多条记录符合条件，那么子查询将返回多行结果，可能导致内部错误或低效的处理。

    推荐：

    sql 复制代码 
    SELECT o.* FROM orders o INNER JOIN users u ON o.user_id = u.id WHERE u.status = 'active';

    这个查询通过连接两个表直接获取结果，减少了因子查询导致的临时表创建。

  • 1.10 JOIN的表不宜过多

    控制JOIN表的数量，避免复杂的索引选择。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT a.name, b.name, c.name FROM a INNER JOIN b ON a.id = b.a_id INNER JOIN c ON c.b_id = b.id;

-- 推荐
SELECT a.name, b.name FROM a INNER JOIN b ON a.id = b.a_id;

  • 1.11 JOIN时注意小表驱动大表

    描述：使用INNER JOIN时，应让小表驱动大表；使用LEFT JOIN时，左边应为小表。

    不推荐：

    sql 复制代码 
    SELECT o.id, o.code, u.name FROM orders o LEFT JOIN users u ON o.user_id = u.id WHERE u.status = 'active';

    这个查询使用了LEFT JOIN，意味着orders表中的每一行都会被处理，即使users表中没有匹配的记录。如果orders表很大，而users表中符合条件的记录很少，这会导致很多空值的行。

    推荐：

    sql 复制代码 
    SELECT o.id, o.code, u.name FROM orders o INNER JOIN users u ON o.user_id = u.id WHERE u.status = 'active';

    这个查询只返回orders表中那些其user_id在符合条件的users表中的记录，这样可以减少处理的数据量。

  • 1.12 控制索引的数量

    合理控制索引数量，避免过多的索引导致性能消耗。

    示例：

    sql 复制代码 
    -- 不推荐
CREATE INDEX idx_user_id ON orders (user_id);
CREATE INDEX idx_order_date ON orders (order_date);
CREATE INDEX idx_product_id ON orders (product_id);

-- 推荐
CREATE INDEX idx_user_id_order_date ON orders (user_id, order_date);

  • 1.13 选择合理的字段类型

    根据数据特点选择合适的字段类型。

    示例：

    sql 复制代码 
    -- 不推荐
ALTER TABLE orders ADD COLUMN order_code VARCHAR(20) NOT NULL;

-- 推荐
ALTER TABLE orders ADD COLUMN order_code CHAR(10) NOT NULL;

  • 1.14 提升GROUP BY的效率

    在GROUP BY前使用WHERE条件过滤数据。

    示例：

    sql 复制代码 
    -- 不推荐
SELECT user_id, COUNT(*) FROM orders GROUP BY user_id;

-- 推荐
SELECT user_id, COUNT(*) FROM orders WHERE user_id <= 200 GROUP BY user_id;

  • 1.15索引优化

    描述 ：使用EXPLAIN命令来检查SQL查询是否有效地利用了索引。

    不推荐：

    sql 复制代码 
    SELECT * FROM orders WHERE code = '002';

    如果code列上没有索引，那么数据库将执行全表扫描，这是低效的。

    推荐：

    sql 复制代码 
    EXPLAIN SELECT * FROM orders WHERE code = '002';

    通过EXPLAIN命令，我们可以看到查询计划，并确认是否使用了索引。如果未使用索引，可能需要考虑添加适当的索引。

2. 数据库配置

  • 2.1 调整缓存大小

    根据系统可用内存调整数据库缓存大小，以提高数据访问速度。

    示例：

    sql 复制代码 
    -- MySQL示例
SET GLOBAL innodb_buffer_pool_size = 1G;

  • 2.2 内存管理

    优化内存分配，确保足够的内存用于缓存经常访问的数据。

    示例：

    sql 复制代码 
    -- PostgreSQL示例
ALTER SYSTEM SET shared_buffers = '128MB';

  • 2.3 事务隔离级别

    根据应用程序的需求调整事务隔离级别，以平衡并发性和一致性。

    示例：

    sql 复制代码 
    -- MySQL示例
SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;

  • 2.4 日志和备份设置

    优化日志记录和备份策略，以减少对性能的影响。

    示例：

    sql 复制代码 
    -- MySQL示例
SET GLOBAL log_bin_trust_function_creators = 1;
3. 硬件和基础设施

  • 3.1 扩展硬件资源

    增加更多的CPU核心、内存或更快的磁盘（如SSD）以提升性能。

    示例：

    • 升级服务器硬件
    • 使用固态硬盘（SSD）

  • 3.2 分布式架构

    采用分片（Sharding）、复制（Replication）等技术分散负载。

    示例：

    • 使用分片技术将数据分布在不同的物理服务器上
    • 设置主从复制，提高读写分离的能力

  • 3.3 负载均衡

    使用负载均衡器来分发请求，减轻单个服务器的压力。

    示例：

    • 配置Nginx或HAProxy作为负载均衡器
4. 应用程序层面

  • 4.1 缓存机制

    在应用程序层面上实现缓存机制，减少对数据库的直接访问。

    示例：

    • 使用Redis或Memcached作为缓存层

  • 4.2 异步处理

    对于耗时的操作，可以采用异步处理的方式，如队列或消息传递系统。

    示例：

    • 使用RabbitMQ或Kafka作为消息队列

  • 4.3 数据模型优化

    重新设计数据模型，减少冗余，提高数据的一致性和可维护性。

    示例：

    • 规范化数据表结构
    • 减少冗余字段
5. 持续监测

  • 5.1 性能监控

    使用性能监控工具持续监控数据库的运行状况，及时发现性能下降的情况。

    示例：

    • 使用Prometheus和Grafana进行性能监控

  • 5.2 日志分析

    定期分析数据库日志，查找可能导致性能问题的模式。

    示例：

    • 使用Logstash收集日志
    • 使用Elasticsearch进行日志分析

  • 5.3 定期审查

    定期审查SQL查询和数据库设计，寻找潜在的优化机会。

    示例：

    • 定期进行代码审查
    • 使用性能分析工具检查查询效率
6. 教育和培训

  • 6.1 团队技能提升

    确保开发团队有足够的知识来编写高效的SQL查询，并了解数据库的最佳实践。

    示例：

    • 组织内部培训课程
    • 分享最新的SQL调优技巧

  • 6.2 持续学习

    鼓励团队成员跟踪最新的数据库技术和优化策略。

    示例：

    • 参加技术会议
    • 阅读技术博客和论文
7. 实施步骤

  • 7.1 制定计划

    根据监测到的问题制定具体的优化计划。

    示例：

    • 列出需要优化的SQL查询
    • 确定需要调整的数据库配置

  • 7.2 小规模测试

    在不影响生产环境的情况下，先在一个小规模的环境中测试优化措施。

    示例：

    • 使用测试数据库进行实验
    • 收集测试结果

  • 7.3 逐步实施

    一旦验证了优化措施的有效性，逐步将其应用于生产环境。

    示例：

    • 先在非高峰时段部署
    • 监控效果

  • 7.4 效果评估

    实施后，再次进行性能测试，评估优化措施的效果，并根据需要继续调整。

    示例：

    • 使用性能监控工具
    • 定期复查性能
结论

SQL调优是一个持续的过程，需要不断地监测、分析和调整。通过以上提到的方法，可以有效提升数据库性能，确保应用程序能够平稳运行。在实践中，还需要根据具体的数据库系统、业务需求和技术环境进行灵活调整。

相关推荐
永乐春秋10 分钟前
WEB-通用漏洞&SQL注入&CTF&二次&堆叠&DNS带外
数据库·sql
熙曦Sakura38 分钟前
完全竞争市场
笔记
打鱼又晒网44 分钟前
【MySQL】数据库精细化讲解：内置函数知识穿透与深度学习解析
数据库·mysql
大白要努力！1 小时前
android 使用SQLiteOpenHelper 如何优化数据库的性能
android·数据库·oracle
tatasix2 小时前
MySQL UPDATE语句执行链路解析
数据库·mysql
dr李四维2 小时前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
南城花随雪。2 小时前
硬盘（HDD）与固态硬盘（SSD）详细解读
数据库
儿时可乖了2 小时前
使用 Java 操作 SQLite 数据库
java·数据库·sqlite
懒是一种态度2 小时前
Golang 调用 mongodb 的函数
数据库·mongodb·golang
天海华兮2 小时前
mysql 去重 补全 取出重复 变量 函数 和存储过程
数据库·mysql
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10ICLR24大模型提示(1/11) | BadChain：大型语言模型的后门思维链提示