MySql 实战大数据查询-（表分区实现）

qyhua2024-04-05 16:50

一 mysql分区：

分区是将单个表按照某种规则划分成多个子集，每个子集称为一个分区。常见的分区策略包括按照时间范围、范围值、列表等进行分区。

优点：

查询性能更好，涉及分区键的查询，数据库引擎可以只扫描特定分区，而不是整个表。
管理数据相对简单，特别是对于自动创建新分区的情况，可以方便地处理历史数据和新数据。

二 mysql分区实战：

首先抽查看我们线上系统一张报文表保存时间为最近一个月的数据量，3.8亿条如下图：

这里我们按时间作为分区，设置成每个月4亿条数据作为一个区域。

sql 复制代码

ALTER TABLE ali_hex_log
PARTITION BY RANGE (YEAR(ctime)*100 + MONTH(ctime)) (
    PARTITION p202403 VALUES LESS THAN (202403),
    PARTITION p202404 VALUES LESS THAN (202404),
    PARTITION p202405 VALUES LESS THAN (202405),
    PARTITION p202406 VALUES LESS THAN (202406),
    PARTITION p202407 VALUES LESS THAN (202407),
    PARTITION p202408 VALUES LESS THAN (202408),
    PARTITION p202409 VALUES LESS THAN (202409),
    PARTITION p202410 VALUES LESS THAN (202410),
    PARTITION p202411 VALUES LESS THAN (202411),
    PARTITION p202412 VALUES LESS THAN (202412),
    PARTITION p202501 VALUES LESS THAN MAXVALUE
);

执行上面sql后查看分区效果，如下图：

sql 复制代码

SHOW CREATE TABLE ali_hex_log;

删除分区

sql 复制代码

 ALTER TABLE ali_hex_log
DROP PARTITION p202501;

增加分区

sql 复制代码

ALTER TABLE ali_hex_log
ADD PARTITION (
    PARTITION p202501 VALUES LESS THAN (202501)
);

查询看一下速度：

在使用分区后，百亿条数据表查询只花了0.014秒，和查询普通表没有什么区别，这个比分表好多了，至少不用去改应用。