服务器雪崩的应对策略之----SQL优化

Warren++2024-06-24 12:09

SQL语句的优化是数据库性能优化的重要方面，特别是在处理大规模数据或高频访问时。作为一个C++程序员，理解SQL优化不仅有助于编写高效的数据库操作代码，还能增强对系统性能瓶颈的整体把握。以下是详细的SQL语句优化技巧和策略：

SQL优化

      • [1. 选择合适的数据类型](#1. 选择合适的数据类型)
      • [2. 使用索引](#2. 使用索引)
      • [3. 优化查询](#3. 优化查询)
      • [4. 范式化和反范式化](#4. 范式化和反范式化)
      • [5. 查询重写](#5. 查询重写)
      • [6. 使用缓存](#6. 使用缓存)
      • [7. 优化数据库设计](#7. 优化数据库设计)
      • [8. 分析和监控](#8. 分析和监控)
      • [9. 调整配置](#9. 调整配置)

1. 选择合适的数据类型

示例

  • 使用CHAR而不是VARCHAR：
sql 复制代码 
 -- 如果用户的状态是固定长度（如'active', 'inactive'），可以使用CHAR
 CREATE TABLE users 
 (
     id INT PRIMARY KEY,
     status CHAR(8)
 );

  • 使用TINYINT代替INT ：

    sql 复制代码 
    -- 如果用户的年龄范围在0-255，可以使用TINYINT
CREATE TABLE users 
(
    id INT PRIMARY KEY,
    age TINYINT
);

2. 使用索引

示例

  • 创建索引：

    sql 复制代码 
    -- 为用户的年龄创建索引
CREATE INDEX idx_users_age ON users(age);

  • 避免过多的索引：

    sql 复制代码 
    -- 如果只需查询用户的年龄和名字，不需要对所有列都创建索引
CREATE INDEX idx_users_age_name ON users(age, name);

  • 组合索引：

    sql 复制代码 
    -- 为用户的年龄和注册日期创建组合索引
CREATE INDEX idx_users_age_reg_date ON users(age, registration_date);

3. 优化查询

示例

  • 选择合适的查询：

    sql 复制代码 
    -- 避免使用SELECT *
SELECT name, age FROM users WHERE age > 30;

  • 使用子查询和联结：

    sql 复制代码 
    -- 将子查询改写为JOIN
SELECT u.name, o.order_date
FROM users u
JOIN orders o ON u.id = o.user_id
WHERE u.age > 30;

  • WHERE条件优化：

    sql 复制代码 
    -- 将最可能过滤大量数据的条件放在前面
SELECT * FROM users WHERE age > 30 AND status = 'active';

  • 避免函数和操作符：

    sql 复制代码 
    -- 避免对列进行函数操作
SELECT * FROM users WHERE registration_date >= '2023-01-01';

4. 范式化和反范式化

示例

  • 范式化：

    sql 复制代码 
    -- 第三范式设计：拆分表结构
CREATE TABLE orders 
(
    id INT PRIMARY KEY,
    user_id INT,
    product_id INT,
    order_date DATE,
    FOREIGN KEY (user_id) REFERENCES users(id)
);

  • 反范式化：

    sql 复制代码 
    -- 在高频读取的情况下，减少JOIN操作，反范式化
CREATE TABLE order_details 
(
    id INT PRIMARY KEY,
    user_name VARCHAR(255),
    product_name VARCHAR(255),
    order_date DATE
);

5. 查询重写

示例

  • EXISTS vs IN：

    sql 复制代码 
    -- 使用EXISTS而不是IN
SELECT name FROM users WHERE EXISTS 
(
    SELECT 1 FROM orders WHERE orders.user_id = users.id AND orders.total > 100
);

  • JOIN优化：

    sql 复制代码 
    -- 使用临时表优化大表JOIN
CREATE TEMPORARY TABLE temp_orders AS
SELECT * FROM orders WHERE order_date >= '2023-01-01';

SELECT u.name, t.order_date FROM users u JOIN temp_orders t ON u.id = t.user_id;

6. 使用缓存

示例

  • 查询缓存：

    sql 复制代码 
    -- MySQL查询缓存示例（假设MySQL版本支持）
SET GLOBAL query_cache_size = 1048576; -- 1MB

  • 应用缓存：

    cpp 复制代码 
    // 在C++应用层使用Memcached缓存常用数据
// 使用libmemcached库
#include <libmemcached/memcached.h>

memcached_st *memc;
memcached_return rc;
memcached_server_st *servers = NULL;
char *key = "user_123";
char *value;

memc = memcached_create(NULL);
servers = memcached_server_list_append(servers, "localhost", 11211, &rc);
rc = memcached_server_push(memc, servers);
memcached_server_list_free(servers);

value = memcached_get(memc, key, strlen(key), NULL, NULL, &rc);

7. 优化数据库设计

示例

  • 分区：

    sql 复制代码 
    -- 将大表按月份分区
CREATE TABLE orders 
(
    id INT PRIMARY KEY,
    user_id INT,
    order_date DATE
)
PARTITION BY RANGE (YEAR(order_date)) 
(
    PARTITION p2023 VALUES LESS THAN (2024),
    PARTITION p2024 VALUES LESS THAN (2025)
);

  • 分片：

    sql 复制代码 
    -- 数据库分片：例如根据用户ID进行分片
-- 分片1：存储用户ID 1-1000
-- 分片2：存储用户ID 1001-2000

8. 分析和监控

示例

  • 使用EXPLAIN：

    sql 复制代码 
    -- 使用EXPLAIN分析查询执行计划
EXPLAIN SELECT name FROM users WHERE age > 30;

  • 监控系统性能：

    sql 复制代码 
    -- 监控查询时间、锁等待、磁盘IO等指标
SHOW STATUS LIKE 'Handler_read_rnd_next';
SHOW ENGINE INNODB STATUS;

9. 调整配置

示例

1、内存分配

调整数据库管理系统（DBMS）的内存配置参数，可以显著提高数据库性能。以下是MySQL的示例：

  • 调整InnoDB缓冲池大小：InnoDB缓冲池用于缓存数据和索引，是MySQL最重要的内存分配参数。

    sql 复制代码 
    -- 查看当前缓冲池大小
SHOW VARIABLES LIKE 'innodb_buffer_pool_size';

-- 将缓冲池大小设置为1GB
SET GLOBAL innodb_buffer_pool_size = 1024 * 1024 * 1024;

  • 调整查询缓存大小：查询缓存可以缓存常见查询的结果。

    sql 复制代码 
    -- 查看当前查询缓存大小
SHOW VARIABLES LIKE 'query_cache_size';

-- 将查询缓存大小设置为64MB
SET GLOBAL query_cache_size = 64 * 1024 * 1024;

-- 启用查询缓存
SET GLOBAL query_cache_type = 1;
2、连接池

使用数据库连接池可以减少数据库连接的建立和关闭开销，提高应用程序的性能。以下是如何在C++应用中使用连接池的示例，使用MySQL Connector/C++库：

  • 使用MySQL Connector/C++库配置连接池 ：

    cpp 复制代码 
    // 在C++应用中使用连接池
// 使用MySQL Connector/C++库
#include <mysql_driver.h>
#include <mysql_connection.h>
#include <cppconn/driver.h>
#include <cppconn/connection.h>
#include <cppconn/statement.h>
#include <cppconn/exception.h>
#include <cppconn/resultset.h>
#include <mutex>
#include <queue>
#include <memory>
#include <condition_variable>

class ConnectionPool 
{
public:
    static ConnectionPool& getInstance() 
    {
        static ConnectionPool instance;
        return instance;
    }

    std::shared_ptr<sql::Connection> getConnection() 
    {
        std::unique_lock<std::mutex> lock(mutex_);
        while (pool_.empty()) 
        {
            condition_.wait(lock);
        }
        auto conn = pool_.front();
        pool_.pop();
        return conn;
    }

    void releaseConnection(std::shared_ptr<sql::Connection> conn) 
    {
        std::unique_lock<std::mutex> lock(mutex_);
        pool_.push(conn);
        condition_.notify_one();
    }

private:
    ConnectionPool() 
    {
        for (int i = 0; i < pool_size_; ++i) 
        {
            auto conn = driver_->connect(url_, user_, password_);
            pool_.push(std::shared_ptr<sql::Connection>(conn, [this](sql::Connection* conn) 
            {
                releaseConnection(std::shared_ptr<sql::Connection>(conn));
            }));
        }
    }

    ~ConnectionPool() 
    {
        while (!pool_.empty()) 
        {
            pool_.pop();
        }
    }

    ConnectionPool(const ConnectionPool&) = delete;
    ConnectionPool& operator=(const ConnectionPool&) = delete;

    sql::mysql::MySQL_Driver* driver_ = sql::mysql::get_mysql_driver_instance();
    std::queue<std::shared_ptr<sql::Connection>> pool_;
    std::mutex mutex_;
    std::condition_variable condition_;
    const std::string url_ = "tcp://127.0.0.1:3306";
    const std::string user_ = "user";
    const std::string password_ = "password";
    const int pool_size_ = 10;
};

// 使用连接池获取和释放连接
int main() 
{
    auto& pool = ConnectionPool::getInstance();
    auto conn = pool.getConnection();

    try 
    {
        std::shared_ptr<sql::Statement> stmt(conn->createStatement());
        std::shared_ptr<sql::ResultSet> res(stmt->executeQuery("SELECT 'Hello, World!' AS _message"));
        while (res->next()) 
        {
            std::cout << res->getString("_message") << std::endl;
        }
    } 
    catch (sql::SQLException &e) 
    {
        std::cerr << "SQLException: " << e.what() << std::endl;
    }

    // 连接会自动返回到连接池
    return 0;
}

这个示例展示了如何创建一个简单的连接池类，并在C++应用中使用该连接池来管理和复用数据库连接。连接池的使用可以显著减少数据库连接的建立和销毁时间，从而提高应用程序的性能和响应速度。

通过这些示例，可以更直观地理解各项SQL优化策略的具体应用及其效果。

相关推荐
SelectDB4 小时前
时间旅行与快照能力速查：Doris 侧三条落地路径
大数据·数据库·数据分析
SelectDB4 小时前
云数仓成本结构拆解速查：五层计费 vs Doris / 托管形态
大数据·数据库·数据分析
SelectDB4 小时前
什么场景能承接与建议保留：Doris vs Snowflake 边界速查
大数据·数据库·数据分析
ProcessOn5 小时前
纯干货！MySql实战02：一条SQL更新语句执行流程大探索！
sql·mysql·sql server
这个DBA有点耶6 小时前
DELETE没删多少数据，表却越来越大——InnoDB删除空洞与页合并失效的根因
数据库·mysql·代码规范
对象存储与RustFS7 小时前
网盘限速逼你开会员？用 RustFS 自己搭一个不限速的“私人网盘
服务器·后端·docker
..Dauntless..9 小时前
【Linux】一切皆文件和缓冲区
linux·运维·服务器
裕晟资质规划9 小时前
三类资质变更报告时限差在哪？军工 15 日、集成印制 10 日
大数据·服务器·网络
ly76899 小时前
PostgreSQL 备份恢复策略：pg_basebackup、WAL 归档与 PITR 在企业 Java 系统中的落地
java·数据库·postgresql·pitr·pg_basebackup·wal 归档
QMCY_jason9 小时前
x86 ubuntu2204 无gui 安装 openeuler 2203 aarch64版本
linux·运维·服务器
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会03如何新建文件夹？ 电脑新建文件夹的4种方法04GitHub 镜像站点05历年考研数学一、数学二、数学三真题试卷及答案PDF06几个好用的ip纯净度检测网站07Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）08苹果iPA游戏软件资源下载网站09蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接10Telegram APK 下载安装完整指南 — 2026年最新