如何进行分表?数据归档和正常分表有区别吗?

分表技术选型

分别常见的主要考虑2种分表方案:Sharding-JDBC 、利用Mybatis自带的拦截器特性。

  1. JAVA生态中很常用的分表框架是Sharding-JDBC ,虽然功能强大,但需要一定的接入成本,并且很多功能暂时用不上。

  2. 如果系统本身已经在使用Mybatis了,只需要添加一个mybaits拦截器,把SQL表名替换为新的周期表就可以了,没有接入新框架的成本,开发成本也不高。

分表方案总结

  • 方案一

    通过Sharding-JDBC,基于字段Hash取余进行动态路由

properties 复制代码
# 配置真实数据源
spring.shardingsphere.datasource.names=server-order0,server-order1

# 配置第 1 个数据源
spring.shardingsphere.datasource.server-order0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order0.jdbc-url=jdbc:mysql://111.230.25.88:3301/db_order
spring.shardingsphere.datasource.server-order0.username=root
spring.shardingsphere.datasource.server-order0.password=lisirui.

# 配置第 2 个数据源
spring.shardingsphere.datasource.server-order1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.server-order1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.server-order1.jdbc-url=jdbc:mysql://111.230.25.88:3302/db_order
spring.shardingsphere.datasource.server-order1.username=root
spring.shardingsphere.datasource.server-order1.password=lisirui.

# 标准分片表配置(数据节点)
spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order$->{0..1}
# 分片列名称 根据 user_id 进行分表
spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-column=user_id
...
  • 方案二

    通过Mybatis拦截器,动态新增新表

  • 怎么设计表后缀呢?还是这样1,2,3路由?

    比如说,我们的业务特性是查最近的一月的数据,按日期的水平拆分是合理的。每月生成一张新表,同时此表只放本月的数据,这样表内数据量得到了控制,不会很大。

  • 通过拦截器获取表名
ini 复制代码
String tableName = TemplateMatchService.matchTableName(boundSql.getSql().trim());
  • 根据数据日期进行计算后缀,替换原有 sql,最终执行。
ini 复制代码
 String rebuildSql = boundSql.getSql().replace(shardingProperty.getTableName(), shardingTable);
 metaStatementHandler.setValue(ORIGIN_BOUND_SQL, rebuildSql);

不用分库分表怎么解决

归档/删除旧数据

这种方式最常见的方案就是将冷数据移动到归档表或者直接进行删除,从而减少表的大小。

实现思路非常简单,一般写一个定时任务不断的跑就可以了。

  • 删除数据的缺点

1、数据删除会影响数据库性能,引发慢sql,多张表并行删除,数据库压力会更大。

2、频繁删除数据,会产生数据库碎片,影响数据库性能,引发慢SQL。

  • 数据归档场景举例

以上述场景为例子,有个地方会产生告警事件,随着业务的增长,告警事件表里的数据肯定会越来越多,势必会对查询造成压力,这时候就可以对告警产生了一段时间的数据进行归档,即将这部分数据备份到其他表里面。其实到这一步,数据归档其实跟分表无异,只不过一个是往新表写新数据,一个是往新表写旧数据。

  • 数据归档的优点

可以由程序员手动控制归档时机,上面的分表的例子就是每个月自动生成一张新表(看具体业务),如果业务不一定每个月都有那么大数据量的话是没有必要每个月都生成一张新表的,可以定期观察数据库的数据量,再决定是否需要创建新表。

相关推荐
love530love6 小时前
LiveTalking 数字人项目 Windows 部署完全指南(EPGF 架构)
人工智能·windows·python·架构·livetalking·epgf
星辰徐哥6 小时前
Spring Boot 微服务架构设计与实现
spring boot·后端·微服务
星辰徐哥6 小时前
Spring Boot 数据导入导出与报表生成
spring boot·后端·ui
明夜之约6 小时前
Spring Boot 自动装配源码
java·spring boot·后端
Leaton Lee6 小时前
Spring Boot分层架构详解:从Controller到Service再到Mapper的完整流程
java·spring boot·后端·架构
Micro麦可乐6 小时前
Spring Boot 实战:从零设计一个短链系统(含完整代码与数据库设计)
数据库·spring boot·后端·哈希算法·雪花算法·短链系统
Jinkxs6 小时前
Resilience4j- 与 Spring Boot 快速集成:自动配置与基础注解使用
java·spring boot·后端
毕设源码_郑学姐6 小时前
计算机毕业设计springboot网络相册设计与实现 基于Spring Boot框架的在线相册管理系统开发与应用 Spring Boot驱动的网络影集设计与实践
spring boot·后端·课程设计
辣机小司6 小时前
【踩坑记录:Spring Boot 配置文件读取值不一致?警惕 YAML 的“八进制陷阱”与 SnakeYAML 版本之谜】
java·spring boot·后端·yaml·踩坑记录
码农阿豪6 小时前
从零到一:Spring Boot快速接入金仓数据库实战
数据库·spring boot·后端