Starrocks 数据均衡DiskAndTabletLoadReBalancer的实现

背景

最近在研究了一下 Starrocks的tablet的Rebalance的能力,这里进行记录一下

本文基于 StarRocks 3.3.5

结论

数据的rebalance 主要以两种模式来进行:

  1. 按照磁盘的使用率进行移动,如果每个BE的磁盘使用率不足tablet_sched_balance_load_disk_safe_threshold(默认是50%),
    或者 BE间磁盘的最大使用率和最小使用率相差不超过tablet_sched_balance_load_score_threshold(默认10%),就认为不需要进行数据均衡
  2. 以tablet的副本数量进行移动,不断把副本从副本数多的BE节点 转移到 副本数少的节点上
  3. 以BE内的磁盘使用率为基准,按照高磁盘使用率往低磁盘使用率的原则进行数据迁移
  4. 以BE内的各个路径的tablets副本数据为基准 ,按照路径中副本数高的往副本数低的原则进行数据秦阿姨

其中里面设计到的移动都是以 tablet Replica(副本)为单位进行移动的,

且统计信息的来源是来自SystemInfoService,对于每个磁盘类型(HDD,SSD)都会做Rebalance操作

分析

统计信息的来源

ClusterLoadStatistic的统计信息,这个是来自于SystemInfoService,而最终的信息是来源于 BE和 FE进行交互的FrontendServiceImpl,BE会上报给FE信息,这些信息

在FE则会调用 ReportHandler的 exec方法,从而更新到 SystemInfoService中。

复制代码
 @Override
 protected void exec() {
     if (tasks != null) {
         ReportHandler.taskReport(beId, tasks);
     }
     if (disks != null) {
         ReportHandler.diskReport(beId, disks);
     }
     if (tablets != null) {
         ReportHandler.tabletReport(beId, tablets, reportVersion);
     }
     if (activeWorkGroups != null) {
         ReportHandler.workgroupReport(beId, activeWorkGroups);
     }
     if (resourceUsage != null) {
         ReportHandler.resourceUsageReport(beId, resourceUsage);
     }
     if (dataCacheMetrics != null) {
         ReportHandler.datacacheMetricsReport(beId, dataCacheMetrics);
     }
 }

tablet调度数据流

其中最主要的数据流如下:

复制代码
TabletScheduler.runAfterCatalogReady
      ||
      \/
TabletScheduler.schedulePendingTablets //一次性调度队列中剩余的所有的Rebalance任务
      ||
      \/
TabletScheduler.handleRunningTablets // 取消超时的Rebalance任务,这个超时时间是根据 TabletSchedCtx.getApproximateTimeoutMs 方法获取的
      ||
      \/
TabletScheduler.selectTabletsForBalance
      ||
      \/
Rebalancer.selectAlternativeTablets => selectAlternativeTabletsForCluster 
                                                    ||
                                                    \/
                                             balanceClusterDisk 
                                                    ||
                                                    \/
                                             balanceClusterTablet
                                                    ||
                                                    \/
                                             balanceBackendDisk
                                                    ||
                                                    \/
                                             balanceBackendTablet
                                              
     ||
     \/
handleForceCleanSchedQ    // 如果有用户调用了`CLEAN TABLET SCHEDULER QUEUE`命令,则会强制清除包括正在运行的所有的数据Rebalance任务
     ||
     \/
stat.counterTabletScheduleRound.incrementAndGet() // 记录tablet schedule调度的次数

其中 balanceClusterDisk balanceClusterTablet balanceBackendDisk balanceBackendTablet 分别对应上述的1 2 3 4 四点。

相关推荐
笙囧同学2 小时前
基于大数据技术的疾病预警系统:从数据预处理到机器学习的完整实践(后附下载链接)
大数据·网络·机器学习
java叶新东老师10 小时前
git 提交时排除一个或多个文件
大数据·git·elasticsearch
葡萄城技术团队10 小时前
利用 SQL Server 实现字符替换的高效函数
sql
阿里云大数据AI技术11 小时前
Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
大数据·人工智能·机器学习
FINE!(正在努力!)11 小时前
关于sql面试积累
数据库·sql
看天走路吃雪糕11 小时前
墨者:SQL过滤字符后手工绕过漏洞测试(万能口令)
数据库·sql·sql注入·墨者学院·万能口令
武昌库里写JAVA12 小时前
【MySQL】MySQL数据库如何改名
java·vue.js·spring boot·sql·学习
孫治AllenSun12 小时前
【JSqlParser】sql解析器使用案例
数据库·windows·sql
秋难降13 小时前
一篇文章带你了解Pandassssssssssssssss
大数据·python·pandas
数据皮皮侠13 小时前
中国汽车能源消耗量(2010-2024年)
大数据·数据库·人工智能·物联网·金融·汽车·能源