MySQL异步连接池的学习(五)

一、异步连接池

1.1、为什么需要异步连接池

在高并发场景下,同步连接池的性能瓶颈主要体现在两个方面:

  • 阻塞等待:在获取空闲连接时,如果当前没有可用连接,线程会阻塞等待。在高负载情况下,这会导致大量线程处于等待状态,从而降低整体性能。

  • 频繁的数据库操作:在高并发的应用中,每个请求都需要与数据库进行交互,而每次交互都涉及到网络通信的开销。特别是在使用同步方式时,这些开销会被放大,因为每次操作都会导致线程阻塞。

为了解决这些问题,可以考虑实现一个基于事件驱动或非阻塞IO模型的异步连接池。这样的设计可以减少线程数量,提高资源利用率,同时通过非阻塞的方式处理I/O操作,从而提高系统的吞吐量和响应速度。

1.2、异步连接池的设计

  1. 完全异步连接池:官方给的相关驱动中,没有提供异步驱动,如果需要实现异步连接池,就需要自己实现MySQL协议的解析和封装。难度较大,需要深入了解MySQL协议和网络编程 ,还要考虑系统平台支持哪些异步操作,C/C++在不同的系统平台,所支持的异步操作也不太一样。

    大致流程:

  2. 半异步连接池: 基于线程池的思想,可以将官方给的同步驱动放入专门的线程池中,通过任务队列模拟异步行为。

    大致流程:

1.3、半异步连接池实现

基于上面的思路,可以这样再进一步优化下,提高性能,让每个线程都有自己专门的任务队列,而不是公共的任务队列,这样能减少锁的开销,但会增加内存的开销 ,使用时需权衡下利弊。

运行环境:Linux系统,C++17,具备boost库,以及MySQL官方给出的驱动

本以为就在线程池的基础上添加MySQL的驱动,就完事,没想到并发场景下,各种异常,代码是越改越多,索性重新设计

多个工作线程异步执行一条SQL语句,就这样了。

设计两个类,一个是连接池类,一个是工作线程类;连接池包含多个工作线程,每个工作线程持有一个数据库连接,避免多个线程共享同一个数据库连接,保证线程安全,也保证每个工作线程独立工作互不干扰。

c++ 复制代码
class ConnectionPool {
public:
    using Callback = std::function<void(std::shared_ptr<sql::ResultSet>)>;
    
    struct Task {
        std::string query;
        Callback callback;
    };

    ConnectionPool(const std::string& host, const std::string& user, 
                   const std::string& password, const std::string& database,
                   size_t pool_size = 2);
    ~ConnectionPool();

    void execute(const std::string& query, Callback callback);
    void start_health_check();

private:
    class Worker;   // 前向声明
    
    void health_check();    
    void shutdown();
    ...
};

// 工作线程类,负责自己的线程管理(处理任务),以及对SQL语句的执行
class ConnectionPool::Worker {
public:
    void add_task(Task task);
    bool check_connection();

private:
    void run();
    void execute_task(const Task& task);
    void connect();
    void reconnect();
    void stop();

    ConnectionPool& m_pool;
    std::queue<Task> m_queue;
    ...
};

监控连接池的状态,目前未添加定时任务,让其定时检查连接池的健康状态

c++ 复制代码
void ConnectionPool::start_health_check() {
    if (m_health_check_running) return;
    
    m_health_check_running = true;
    m_health_thread = std::thread(&ConnectionPool::health_check, this);
    std::cout << "Health check started\n";
}

void ConnectionPool::health_check() {
    while (m_health_check_running) {
        std::this_thread::sleep_for(15s);
        
        if (m_shutdown) break;
        
        size_t healthy_count = 0;
        for (auto& worker : m_workers) {
            if (worker->check_connection()) {
                healthy_count++;
            }
        }
        
        std::cout << "Health check: " << healthy_count 
                  << "/" << m_workers.size() << " workers healthy\n";
    }
}

以这张表来进行测试:



二、总结

2.1、同步连接池的适用场景

  1. 业务逻辑简单
  2. 并发量小(<1000)
  3. 对性能要求不高

2.2、异步连接池的适用场景

  1. 业务逻辑复杂
  2. 高并发场景(>1000)
  3. 对性能要求高

2.3、在一些大型项目中,更多的是采用混合使用

比如一些游戏服务器中,对玩家的实时操作采取异步连接池,后台管理操作采用同步连接池方案,这样既能保证高并发场景下的性能,也能满足后台管理操作的实时性。

Code

相关推荐
kitsch0x9715 分钟前
论文学习_One Bug, Hundreds Behind: LLMs for Large-Scale Bug Discovery
学习·bug
qiuiuiu4131 小时前
正点原子RK3568学习日志19- Linux错误处理 字符驱动框架完全体
linux·服务器·学习·ubuntu
蒙奇D索大1 小时前
【计算机网络】408计算机网络高分指南:物理层编码与调制技术精讲
java·前端·学习·计算机网络
姝孟1 小时前
C++学习——类与对象详细知识点总结
c++·笔记·学习
im_AMBER1 小时前
Leetcode 35
笔记·学习·算法·leetcode
张毫洁2 小时前
mysql、oracle的JDBC操作
数据库·mysql·oracle
-Xie-2 小时前
Mysql杂志(三十四)——MVCC、日志分类
数据库·mysql
xiaoxiaoxiaolll2 小时前
封面论文丨薄膜铌酸锂平台实现强耦合电光调制,《Light Sci. Appl. 》报道机器学习优化新范式
人工智能·学习
im_AMBER3 小时前
React 03
前端·笔记·学习·react.js·前端框架·react
Thepatterraining3 小时前
MySQL灾难恢复实战指南:从日志分析到数据恢复,大厂经验全分享
数据库·mysql