在数据库中数据的表空间存储路径信息(tablespace)作为一个属性,一般在数据表创建的时候被指定,且数量只有一个无法变化。南大通用GBase 8a数据库(gbase database)GCDW云数仓对 tablespace 进行了多路径改造,重构了 DML/DDL、垃圾回收、备份恢复、LOADER 等核心链路,以tablespace多路径替换了原有的单路径,达到了数据文件分散存储在多个 S3 存储桶的目的。
表空间多路径功能亮点
- **对象化路径:**全链路消灭硬编码字符串路径,统一使用CTableSpace对象管理多 S3 路径;
- **更新不跨桶:**pcfile 更新产生新版本,必须落在原始 pcfile 所在存储桶,仅新 insert 的数据可以选择任意桶;
- **全链路覆盖:**DML、外表、GC 垃圾回收、数据迁移、LOADER 导入等全部适配;
- **逻辑复用:**外表落地 DC、FastUpdate 插入、LOADER 导入,均复用 insert 已有 WriteDC 流程,降低维护成本。
- **存储路径类型多元化:**单表可同时支持s3多路径 及HDFSD多路径及s3/HDFS混合多路径,显著降低表空间扩充的条件要求,方便客户使用
- **动态扩展,降低成本:**数据库表tablespace多路径可以动态添加,而不需要冲搭建新的数据库集群,降低了用户的使用成本。