MySql 实战大数据查询-(表分区实现)

一 mysql分区

分区是将单个表按照某种规则划分成多个子集,每个子集称为一个分区。常见的分区策略包括按照时间范围、范围值、列表等进行分区。

优点:

  • 查询性能更好,涉及分区键的查询,数据库引擎可以只扫描特定分区,而不是整个表。
  • 管理数据相对简单,特别是对于自动创建新分区的情况,可以方便地处理历史数据和新数据。

二 mysql分区实战

首先抽查看我们线上系统一张报文表保存时间为最近一个月的数据量,3.8亿条如下图:

这里我们按时间作为分区,设置成每个月4亿条数据作为一个区域。

sql 复制代码
ALTER TABLE ali_hex_log
PARTITION BY RANGE (YEAR(ctime)*100 + MONTH(ctime)) (
    PARTITION p202403 VALUES LESS THAN (202403),
    PARTITION p202404 VALUES LESS THAN (202404),
    PARTITION p202405 VALUES LESS THAN (202405),
    PARTITION p202406 VALUES LESS THAN (202406),
    PARTITION p202407 VALUES LESS THAN (202407),
    PARTITION p202408 VALUES LESS THAN (202408),
    PARTITION p202409 VALUES LESS THAN (202409),
    PARTITION p202410 VALUES LESS THAN (202410),
    PARTITION p202411 VALUES LESS THAN (202411),
    PARTITION p202412 VALUES LESS THAN (202412),
    PARTITION p202501 VALUES LESS THAN MAXVALUE
);

执行上面sql后查看分区效果,如下图:

sql 复制代码
SHOW CREATE TABLE ali_hex_log;

删除分区

sql 复制代码
 ALTER TABLE ali_hex_log
DROP PARTITION p202501;

增加分区

sql 复制代码
ALTER TABLE ali_hex_log
ADD PARTITION (
    PARTITION p202501 VALUES LESS THAN (202501)
);

查询看一下速度:

在使用分区后,百亿条数据表查询只花了0.014秒,和查询普通表没有什么区别,这个比分表好多了,至少不用去改应用。

相关推荐
StarRocks_labs1 小时前
StarRocks Community Monthly Newsletter (Jun)
数据库·starrocks·数据湖·物化视图·存算分离
光电的一只菜鸡2 小时前
ubuntu之坑(十五)——设备树
linux·数据库·ubuntu
ob熔天使——武2 小时前
MySQL
数据库·mysql
小光学长3 小时前
基于vue框架的防疫物资仓库管理系统09y38(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库
野生技术架构师7 小时前
MySQL数据实时同步到Elasticsearch的高效解决方案
数据库·mysql·elasticsearch
白仑色7 小时前
Oracle 高可用性与安全性
数据库·oracle·数据安全·goldengate·高可用架构
紫无之紫8 小时前
SQL性能调优经验总结
数据库·sql·性能调优
CZZDg8 小时前
Redis Sentinel哨兵集群
java·网络·数据库
__风__8 小时前
PostgreSQL ExecInitIndexScan 函数解析
数据库·postgresql
小云数据库服务专线8 小时前
GaussDB in的用法
数据库·sql·gaussdb