8.2 分库分表简介


1. 分库分表介绍

随着业务规模扩大,单一数据库实例可能无法承载高并发的读写请求或海量数据存储。分库分表是一种通过拆分数据的方式,提升数据库性能和可扩展性的技术。


1.1 拆分策略

分库分表的拆分策略主要分为两种:

垂直拆分
  • 定义:根据业务模块或表的字段进行拆分。
  • 类型:
    1. 垂直分库
      将不同业务模块的表拆分到不同的数据库中。
      适用场景:电商系统中的用户模块和订单模块分布在不同的数据库中。
    2. 垂直分表
      将表中的列拆分为多个表,常用于大字段分离。
      适用场景:将用户表的主信息和扩展信息分成两张表。
水平拆分
  • 定义:根据数据范围或规则对同一张表的数据进行拆分。
  • 类型:
    1. 水平分库
      按数据范围将数据分布到不同的数据库中。
      适用场景:订单数据按用户 ID 或时间拆分到不同的数据库。
    2. 水平分表
      按数据范围将数据分布到多张表中,所有表在同一数据库。
      适用场景 :将订单表按年份拆分为 order_2023、order_2024 等。
垂直拆分和水平拆分的区别
拆分类型 核心思想 适用场景 优点 缺点
垂直拆分 按模块或字段拆分 数据库结构较复杂 简化表结构,便于优化 跨库或跨表查询成本较高
水平拆分 按数据范围或规则拆分 单表数据量较大 减少单库压力,提升并发能力 数据路由复杂,事务处理难度增加

2. 分库分表实现技术

实现分库分表需要借助中间件或框架,常见的有 ShardingJDBC 和 MyCat。


2.1 ShardingJDBC

简介

ShardingJDBC 是 Java 的数据库分库分表中间件,作为 JDBC 驱动程序嵌入应用程序中,负责数据库分片、读写分离等功能。

作用
  • 数据库分片:支持水平分库和分表。
  • 读写分离:自动路由读写请求到主库或从库。
  • 分布式事务:支持两阶段提交。
实现原理
  • 数据分片规则:通过配置分片键和算法实现数据路由,例如按照用户 ID 取模。
  • 分片执行:将 SQL 请求拆分为多条子查询,并合并查询结果返回。

示例配置:

yml 复制代码
sharding:
  tables:
    order:
      actualDataNodes: db${0..1}.order_${0..1}
      databaseStrategy:
        inline:
          shardingColumn: user_id
          algorithmExpression: db${user_id % 2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: order_${order_id % 2}

2.2 MyCat

简介

MyCat 是基于代理的分库分表中间件,通过代理层实现对应用透明化的数据库分片和管理。

作用
  • 支持垂直和水平拆分。
  • 实现主从复制与读写分离。
  • 提供分布式事务支持。
实现原理
  • SQL 解析与路由:解析 SQL 中的分片键,依据配置规则选择目标库或表。
  • 执行与合并:将查询分发到多个分片数据库中,合并结果返回客户端。

示例分片规则:

properties 复制代码
schema.s0.dataNode=dn1,dn2
table.orders.dataNode=dn$->{order_id%2}
table.orders.rule=order_id%2

3. 总结

技术 适用场景 优点 缺点
ShardingJDBC 单体或微服务架构中使用 易于集成,支持多种分片算法和事务处理 与应用强耦合,需修改应用代码
MyCat 分布式架构,数据量超大场景 高性能,支持跨语言和分布式事务 部署复杂,需单独维护代理服务器

通过合理使用分库分表技术,可以有效解决大数据量和高并发问题,为业务提供强大的数据库支撑。

相关推荐
OnlineProxy1 小时前
亚马逊多账号运营:如何在规避“关联封号”风险的同时实现电商规模化扩张
服务器·数据库·redis
辻弋2013 小时前
五年前的旅行视频糊成马赛克?Video2X用Real-ESRGAN逐帧重建细节,但只支持Windows、集显用户建议直接放弃
服务器·数据库·windows·游戏引擎·电脑
可乐鸡翅yeah_3 小时前
业务中 M3U8 水印相关坑,硬水印和动态水印区别
前端·网络·数据库·ffmpeg·m3u8在线
石头麻辣鱼4 小时前
Bamboo 调度系统 OceanBase 适配实战:存储过程迁移踩过的三个大坑
数据库
龙亘川4 小时前
数智驱动民政升级 精准守护民生保障
大数据·数据库·人工智能
念何架构之路4 小时前
zap扩展生态与总结
java·前端·数据库
晚安日记wanna5 小时前
MySQL 回表为什么这么慢?5 种优化手段逐个拆解
数据库·mysql·性能优化
第七页独白5 小时前
汽车零件厂如何通过 QMS 真正落地 IATF 16949——QMS软件系统:品质检验-内审稽核-8d客诉管理:全星质量管理软件系统
java·前端·数据库
晚安日记wanna5 小时前
索引建了却不走?7 个失效原因逐层排查
数据库·mysql·性能优化
KID1412号5 小时前
PostgreSQL入门
数据库·postgresql