
为解决单表空间存储路径瓶颈,南大通用GBase 8a数据库(gbase database)GCDW云数仓对 tablespace 进行了多路径改造,重构了 DML/DDL、垃圾回收、备份恢复、LOADER 等核心链路,以tablespace多路径替换了原有的单路径,达到了数据文件分散存储在多个 S3 存储桶的目的。
数据迁移
数据迁移在启动操作前,首先获取当前数据表的全部tablespace多路径信息,并从中获取到最优路径(剩余空间最大等内部策略)。
导入导出
1、导出:遍历数据表所有tablesapce路径,读取全部数据导出,并为后续并发提升性能留出优化空间。
2、导入:在导入任务构建中,定时更新数据表的多路径信息,并在构建导入任务时根据内部策略选择最佳tablespace路径,构建任务导入数据。