MySql 实战大数据查询-(表分区实现)

一 mysql分区

分区是将单个表按照某种规则划分成多个子集,每个子集称为一个分区。常见的分区策略包括按照时间范围、范围值、列表等进行分区。

优点:

  • 查询性能更好,涉及分区键的查询,数据库引擎可以只扫描特定分区,而不是整个表。
  • 管理数据相对简单,特别是对于自动创建新分区的情况,可以方便地处理历史数据和新数据。

二 mysql分区实战

首先抽查看我们线上系统一张报文表保存时间为最近一个月的数据量,3.8亿条如下图:

这里我们按时间作为分区,设置成每个月4亿条数据作为一个区域。

sql 复制代码
ALTER TABLE ali_hex_log
PARTITION BY RANGE (YEAR(ctime)*100 + MONTH(ctime)) (
    PARTITION p202403 VALUES LESS THAN (202403),
    PARTITION p202404 VALUES LESS THAN (202404),
    PARTITION p202405 VALUES LESS THAN (202405),
    PARTITION p202406 VALUES LESS THAN (202406),
    PARTITION p202407 VALUES LESS THAN (202407),
    PARTITION p202408 VALUES LESS THAN (202408),
    PARTITION p202409 VALUES LESS THAN (202409),
    PARTITION p202410 VALUES LESS THAN (202410),
    PARTITION p202411 VALUES LESS THAN (202411),
    PARTITION p202412 VALUES LESS THAN (202412),
    PARTITION p202501 VALUES LESS THAN MAXVALUE
);

执行上面sql后查看分区效果,如下图:

sql 复制代码
SHOW CREATE TABLE ali_hex_log;

删除分区

sql 复制代码
 ALTER TABLE ali_hex_log
DROP PARTITION p202501;

增加分区

sql 复制代码
ALTER TABLE ali_hex_log
ADD PARTITION (
    PARTITION p202501 VALUES LESS THAN (202501)
);

查询看一下速度:

在使用分区后,百亿条数据表查询只花了0.014秒,和查询普通表没有什么区别,这个比分表好多了,至少不用去改应用。

相关推荐
RestCloud1 小时前
MySQL分库分表迁移:ETL平台如何实现数据合并与聚合
mysql·api
老纪的技术唠嗑局2 小时前
经验分享 —— 在 Ubuntu 虚拟机中部署 OceanBase 数据库
数据库·ubuntu
咖啡Beans3 小时前
MySQL中使用@符号定义用户变量
数据库·mysql
知其然亦知其所以然4 小时前
MySQL 社招必考题:如何优化特定类型的查询语句?
后端·mysql·面试
GreatSQL6 小时前
MySQL迁移至GreatSQL后,timestamp字段插入报错解析
数据库
粘豆煮包7 小时前
掀起你的盖头来之《数据库揭秘》-3-SQL 核心技能速成笔记-查询、过滤、排序、分组等
后端·mysql
expect7g7 小时前
COW、MOR、MOW
大数据·数据库·后端
DemonAvenger9 小时前
MySQL海量数据快速导入导出技巧:从实战到优化
数据库·mysql·性能优化
程序新视界21 小时前
MySQL中什么是回表查询,如何避免和优化?
mysql
薛定谔的算法1 天前
phoneGPT:构建专业领域的检索增强型智能问答系统
前端·数据库·后端