大数据StarRocks(八):集群扩缩容

一、FE扩缩容

StarRocks FE 节点分为 Follower 节点和 Observer 节点。Follower 节点参与选举投票和写入,Observer 节点只用来同步日志,扩展读性能。

注意:

  • 所有 FE 节点的 http_port 必须相同。
  • Follower FE 节点(包括 Leader 节点)的数量推荐为奇数。建议部署 3 个 Follower 节点,以组成高可用部署(HA)模式。
  • 当 FE 集群已经为高可用部署模式时(即包含 1 个 Leader 节点,2 个 Follower 节点),建议您通过增加 Observer 节点来扩展 FE 的读服务能力。
  • 正常情况下,一个 FE 节点可以应对 10 至 20 台 BE 节点。建议您将 FE 集群节点数量控制在 10 个以下。通常 3 个 FE 节点即可满足绝大部分需求。

1.1 FE节点扩缩容

以root用户登录

新增节点设定为 Follower 或 Observer 节点。

将新增节点设定为 Follower 节点。

bash 复制代码
ALTER SYSTEM ADD follower "fe_host:edit_log_port";

将新增节点设定为 Observer 节点。

bash 复制代码
ALTER SYSTEM ADD observer "fe_host:edit_log_port";
  1. 部署并启动新增 FE 节点。
bash 复制代码
bin/start_fe.sh --helper "fe_leader_host:edit_log_port" --daemon

fe_leader_host: Leader FE 节点的 IP 地址。

完成后,您可以查看节点信息验证扩容是否成功。

SHOW PROC '/frontends';

1.2 缩容 FE 集群

删除 Follower 节点。

bash 复制代码
ALTER SYSTEM DROP follower "fe_host:edit_log_port";

删除 Observer 节点。

bash 复制代码
ALTER SYSTEM DROP observer "fe_host:edit_log_port";

完成后,您可以查看节点信息验证缩容是否成功。

bash 复制代码
SHOW PROC '/frontends';

二、BE 节点扩缩容

BE 集群成功扩缩容后,StarRocks 会自动根据负载情况,进行数据均衡,此期间系统正常运行。

2.1 扩容 BE 节点

登录到库里面增加BE配置:

bash 复制代码
ALTER SYSTEM ADD backend 'be_host:be_heartbeat_service_port';

扩容 BE 集群

部署并启动新增 BE 节点

bash 复制代码
bin/start_be.sh --daemon

完成后,您可以查看节点信息验证扩容是否成功。

bash 复制代码
SHOW PROC '/backends';

2.2 缩容 BE 节点

您可以通过 DROP 或 DECOMMISSION 的方式缩容 BE 集群。

DROP 会立刻删除 BE 节点,丢失的副本由 FE 调度补齐,而 DECOMMISSION 先保证副本补齐,然后再删除 BE 节点。

建议您通过 DECOMMISSION 方式进行 BE 集群缩容比较稳妥!

通过 DECOMMISSION 的方式缩容 BE 集群。

bash 复制代码
ALTER SYSTEM DECOMMISSION backend "be_host:be_heartbeat_service_port";

通过 DROP 的方式缩容 BE 集群。

警告:如果您需要使用 DROP 方式删除 BE 节点,请确保系统三副本完整。

bash 复制代码
ALTER SYSTEM DROP backend "be_host:be_heartbeat_service_port";

完成后,您可以查看节点信息验证缩容是否成功。

bash 复制代码
SHOW PROC '/backends';
相关推荐
数字新视界20 分钟前
动环监控可视化在机房管理中的创新应用与发展趋势
大数据·物联网·信息可视化·信息与通信·一体化机柜
FII工业富联科技服务26 分钟前
工业经验如何转化为AI Skills?详解知识调用、任务编排与多智能体协同
大数据·人工智能·架构·自动化·omniverse·柔性生产
CRMEB系统商城1 小时前
Redis + 消息队列 + 连接池:CRMEB PRO 性能优化的三驾马车
大数据·数据库·人工智能·小程序·php·1024程序员节
红海云2 小时前
两台DGX Spark部署DeepSeek的实战边界
大数据·分布式·spark
weixin_440401693 小时前
大数据技术-人工智能编程题
大数据·人工智能·python·1024程序员节
远航计算机4 小时前
收录从分钟级变 3 到 7 天,抢首发为什么失效了
大数据·人工智能·爬虫·chatgpt·aigc·1024程序员节
CRMEB系统商城4 小时前
服装连锁的导购分销与企微私域
java·大数据·开发语言·人工智能·小程序·php·1024程序员节
有Li4 小时前
主动脉瘤的最佳风险重新分类:断层增强CT与二维经胸超声心动图对比研究文献速递/医学影像的几何测量
大数据·人工智能·深度学习·机器学习·医学生
renhongxia114 小时前
边缘AI部署与大模型轻量化技术全景:量化、蒸馏、RAG 与智能体落地实战
大数据·人工智能
企查查数据服务15 小时前
股权穿透+责任传导是医药并购合规健康度评分卡
大数据·人工智能