基于Spring Boot 3.0、ShardingSphere、PostgreSQL或达梦数据库的分库分表

要实现基于Spring Boot 3.0、ShardingSphere、PostgreSQL或达梦数据库的分库分表,首先需要对ShardingSphere进行一些基本配置。你提到的溯源码、批次号等数据需要考虑到跨年数据的存储,因此要设计一个能够动态扩展的分表策略

  1. 添加ShardingSphere依赖
    在pom.xml中添加ShardingSphere的相关依赖:
xml 复制代码
<dependencies>
    <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
        <version>5.0.0</version>
    </dependency>
    <!-- MyBatis-Plus依赖 -->
    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.5.1</version>
    </dependency>
</dependencies>
  1. ShardingSphere 配置
    ShardingSphere的分库分表策略可以通过配置文件application.yml来设置。这里给出一个分库分表的基本配置示例:
yaml 复制代码
spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/yourdb
    username: your_username
    password: your_password
    driver-class-name: org.postgresql.Driver
    hikari:
      maximum-pool-size: 10
  shardingsphere:
    datasource:
      names: ds0, ds1
      ds0:
        url: jdbc:postgresql://localhost:5432/db0
        username: your_username
        password: your_password
      ds1:
        url: jdbc:postgresql://localhost:5432/db1
        username: your_username
        password: your_password
    sharding:
      tables:
        your_table:
          actualDataNodes: ds${0..1}.your_table_${0..3}
          tableStrategy:
            inline:
              shardingColumn: batch_number
              algorithmExpression: your_table_${batch_number % 4}
      defaultDatabaseStrategy:
        inline:
          shardingColumn: year
          algorithmExpression: ds${year % 2}

这个配置定义了两个数据库(ds0 和 ds1),并且为your_table配置了基于batch_number的分表策略。同时,还设置了按year分库的策略,这样可以考虑跨年数据的分布。

  1. 分表策略设计
    考虑到你的溯源码和批次号是跨年存储的,因此,分表策略可以基于时间(如年份)或者批次号来做。对于跨年数据,你可以在分库策略中动态判断年份,并将数据根据年份分配到不同的数据库。actualDataNodes配置项中的dsKaTeX parse error: Expected group after '_' at position 18: .....1}和your_table_̲{0...3}表示将数据分布到多个数据库和表中。

动态分表:可以根据batch_number来决定表名。例如,使用batch_number % 4来决定数据存储在哪四个表中。

跨年分库:使用year % 2来决定数据存储在哪两个库中。你可以根据业务需求调整这个比例。

  1. MyBatis-Plus 配置
    MyBatis-Plus需要配合ShardingSphere的配置使用,可以通过@Mapper注解来创建MyBatis映射接口,并通过@TableName来指定表名。在Spring Boot中,ShardingSphere会自动处理分库分表的逻辑。
java 复制代码
@Mapper
public interface YourTableMapper extends BaseMapper<YourTable> {
}
  1. 数据模型
    你的数据模型需要确保字段与分表策略匹配。例如,batch_number字段可以作为分表的依据,year字段可以用于分库策略。
java 复制代码
@Data
@TableName("your_table")
public class YourTable {
    private Long id;
    private String batchNumber;
    private String year;
    // 其他字段
}
  1. 测试和调试
    在开发初期,你需要对ShardingSphere的分库分表策略进行充分的测试,确保数据能够按照预期分布到不同的库和表中,且不会出现数据丢失或跨年数据存储错误的情况。

总结

使用ShardingSphere的actualDataNodes配置来实现跨年数据的动态分库分表。

通过ShardingSphere的inline策略,动态计算分库和分表的规则。

官方案例地址:https://shardingsphere.apache.org/document/5.5.0/cn/quick-start/shardingsphere-jdbc-quick-start/

相关推荐
电商API_180079052476 分钟前
反向海淘是什么?现状如何?未来趋势如何?
数据库·人工智能·笔记·性能优化·数据挖掘·网络爬虫
MRSM_016 分钟前
Redis 缓存、队列、排行榜的核心用法
数据库·redis·缓存
Trouvaille ~8 分钟前
【Redis篇】Redis 安装与启动:快速搭建一个 Redis 环境
数据库·redis·后端·ubuntu·缓存·环境搭建·安装教程
Mahir0810 分钟前
Spring Boot 自动装配深度解密:从原理到自定义 Starter 实战
java·spring boot·后端·自动装配·自定义starter·大厂面试题
fengxin_rou13 分钟前
【Feed 高并发架构实战】:雪花 ID + 三级缓存 + 计数旁路设计详解
数据库·redis·缓存·架构·事务·并发
java1234_小锋14 分钟前
Spring Boot 的嵌入式服务器(如 Tomcat)是如何启动的?如何替换为 Jetty 或 Undertow?
服务器·spring boot·tomcat
廿一夏9 小时前
MySql存储引擎与索引
数据库·sql·mysql
曲幽9 小时前
我用了FastApiAdmin后,连夜把踩过的坑都整理出来了
redis·python·postgresql·vue3·fastapi·web·sqlalchemy·admin·fastapiadmin
lzhdim11 小时前
SQL 入门 15:SQL 事务:从 ACID 到四种常见的并发问题
数据库·sql
瀚高PG实验室11 小时前
瀚高企业版V9.1.1在pg_restore还原备份文件时提示extract函数语法问题
数据库·瀚高数据库