TiDB替换Starrocks:业务综合宽表迁移的性能评估与降本增效决策

作者: 我是人间不清醒 原文来源: https://tidb.net/blog/6638f594

1、 场景

业务综合宽表是报表生成、大屏幕展示和数据计算处理的核心数据结构。目前,这些宽表存储在Starrocks系统中,但该系统存在显著的性能瓶颈。例如,在高峰时段,查询性能(QPS)仅为20,99th百分位响应时间长达2.5分钟,且CPU和内存资源接近饱和。特别是在2024年,系统多次遭遇后端内存耗尽(OOM)的情况,导致需要手动干预才能恢复正常运行。鉴于Starrocks系统的版本较旧,我们正在考虑对其进行升级或者迁移到Tidb集群中。

为了评估升级Starrocks系统或迁移到TiDB集群的可行性,我们对同一环境下的TiDB集群进行了压力测试。测试结果表明,TiDB集群的性能表现超出了我们的预期,因此我们决定将业务综合宽表迁移到TiDB集群。

2、 宽表信息

3、 集群配置

复制代码
  Starrocks 版本2.3.0 a9bdb09

image760×194 3.54 KB

复制代码
 Tidb 版本 8.0.11-TiDB-v8.1.0

image753×273 4.75 KB

4、 Sql查询对比

image768×642 24.5 KB

\

image765×608 27.2 KB

5、Jmeter压测对比

压测准备:windows11 16核32G 安装jmeter

教程: Jmeter保姆级安装教程(超详细建议收藏加关注)_jmeter安装详细教程-CSDN博客

SQL语句准备:研发提供的复杂sql查询

线程配置:线程数200 ramp-up时间 10,持续300s;10秒钟拉起200个进程,持续300s

image1065×259 64.8 KB

Tidb和Starrocks服务器CPU情况:

image1099×315 37.3 KB

\

image1150×349 49.2 KB

6、结果

根据测试结果分析,Tidb在压力测试期间,除TidbServer的CPU使用率较高外,TiKV和TiFlash的表现均符合预期。然而,Starrocks的三台服务器CPU使用率过高,且吞吐量指标未能达到理想状态。

7、后续规划

鉴于Starrocks系统的性能瓶颈和资源饱和问题,以及TiDB集群在压力测试中表现出的优越性能,我们决定将业务综合宽表从Starrocks迁移到TiDB集群,并将Starrocks资源陆续释放,实现降本增效

相关推荐
JavaAlpha3 分钟前
Jenkins 配置信息导出 的详细说明(中英对照)
运维·servlet·jenkins
liulilittle44 分钟前
通过高级处理器硬件指令集AES-NI实现AES-256-CFB算法并通过OPENSSL加密验证算法正确性。
linux·服务器·c++·算法·安全·加密·openssl
Blossom.1181 小时前
基于区块链的去中心化身份验证系统:原理、实现与应用
运维·服务器·网络·人工智能·机器学习·去中心化·区块链
明月看潮生1 小时前
青少年编程与数学 01-011 系统软件简介 13 Microsoft SQL Server数据库
数据库·microsoft·青少年编程·系统软件
Ai财富密码1 小时前
【Linux教程】Linux 生存指南:掌握常用命令,避开致命误操作
java·服务器·前端
老实巴交的麻匪1 小时前
可观测性 | Grafana Loki 日志聚合方案快速体验
运维·云原生·容器
LUCIAZZZ1 小时前
项目拓展-Jol分析本地对象or缓存的内存占用
java·开发语言·jvm·数据库·缓存·springboot
flypig哗啦啦1 小时前
ubuntu桌面x11异常修复
linux·运维·ubuntu
will_net1 小时前
Linux入门(十六)shell&shell变量&设置环境变量&位置参数变量&预定义变量
linux·运维·chrome
寒山李白1 小时前
MySQL分库分表面试题深度解析
数据库·mysql·面试题