一次StarRocks分析的经历

起因

有人反馈说SR,在系统资源还有空闲的时候,被操作系统杀掉了。没有日志,怀疑是bug,如果要解决这个bug。据说在网上查到要升级。请我准备一下升级。

质疑

StarRocks是一款分析型数据库,2021年正式开源,虽然起步晚,但是能听过且有不少应用的也不会有非常致命的问题。我觉得如果真的像上面说的,那就是比较严重的问题。但是我不认为这个反馈是对的。

现实工作中有太多事情,反馈的和实际的简直相差很大。比如有人说数据库写入慢。按说除了那种互联网大厂,一般企业的数据库什么时候写入能成为瓶颈?一去看就是insert into select 这样。而select又写的是个全表查询。所以不是insert慢,其实是查询慢。而查询通过索引或者改写正确的逻辑后,不仅不慢,反而能让反馈的人吃,怎么会这么快?

本来就是使用不当。这里我就说很多企业(除了那种互联网大厂真的没有有几千万的业务订单)好好写设计逻辑和写SQL的话,根本没有大数据的场景。还是本身没用好。

分析

本次是be进程,那么就去查be的log。因为有两次。

第一次是:看上去是访问内存错误。

第二次是:看上去应该是资源不足了。

从这个信息来看,这两次都不是一回事。

之所以第一次说是内存错误,是因为StarRocks在出问题时候做了coredump。

我也是尝试着去用gdb解析一下。得到效果如下:

有一句结论:Failed to read a valid object file image from memory.

以我浅薄的认知,我觉得是去访问内存上遇到问题。为什么遇到问题这里遇到平时没有问题?我猜测还是应用肆无忌惮的查询,在处理过程中内存不足或者处理上出现问题。

我个人认为都是使用上不当所致。和bug关系不大。SR的使用也是有规范的。SQL的规范。

这个场景是业务人员使用托拉拽的工具访问SR,听到这里可能你就能理解。各种表和SQL在这种无代码的工具下使用就会导致SQL的低效进而引发很多问题。

低代码和无代码的区别是,低代码面向的是开发和运维人员,简化工作。

无代码面对的是业务人员,降低技术使用难度。

但是重点是,我认为降低的是使用门槛,不代表降低业务分析人员的分析门槛。

首先要具备分析师的技能和素质吧?不能什么都不懂的就是过来玩一样,指望这样碰撞出来能有什么有价值的东西吧?

印证

那么这些都已经这样报错了,还会是反馈的那样,系统没压力,SR就不工作了吗?

不是的。

通过日志定位的时间。反查监控。这个数值还是非常震惊的。对比出问题前后和出问题之中的数据,显而易见的平坦与峰值。

这就彻底说明反馈的和实际情况违背。

结论

不是StarRocks的bug,不用升级。

明显是使用不当所致。无代码对该分析场景使用者的专业素质有非常高的要求。要求是专业的分析人员。这种在一个企业中应该是极少数。

其次由于托拉拽的基础表的选择其实又是一个架构问题。如果能清晰的指导业务逻辑,应该是CDC汇聚过来的业务基表。而不是经过Hadoop全家桶处理过的大宽表。

我经常看到打开一个页面100个报表。每个报表至于多少个复杂SQL就不得而知了。而使用者可能只用这里的1个报表。即要看百分之一的图表,但是要同时把100个运行一下。

方显大数据,方显的大负荷,非大数据不能处理也。

相关推荐
whn19773 分钟前
虚拟机搭建oracle 19c rac 点滴
数据库·oracle
m0_741173336 分钟前
CSS移动端实现卡片悬浮投影_利用box-shadow设置层次感
jvm·数据库·python
Lyyaoo.7 分钟前
Session粘滞性问题->Redis实现session共享
数据库·redis·缓存
珠海西格电力8 分钟前
零碳园区管理系统“云-边-端”架构协同的价值及具体案例
大数据·数据库·人工智能·架构·能源
sinat_383437369 分钟前
如何在 Laravel 中筛选并格式化匹配预定义列表的产品数据
jvm·数据库·python
2401_8463395611 分钟前
mysql如何用执行流程思维写好SQL_SQL优化方法总结
jvm·数据库·python
鸽芷咕12 分钟前
KingbaseES数据库设计规范与SQL开发最佳实践
数据库·sql·设计规范
forEverPlume15 分钟前
SQL如何统计分组内不重复值的数量_COUNT与DISTINCT结合应用
jvm·数据库·python
极创信息17 分钟前
信创领域五种主流CPU架构(X86 / ARM / RISC-V / MIPS / LoongArch)
java·arm开发·数据库·spring boot·mysql·软件工程·risc-v
chaofan98025 分钟前
突破大模型落地瓶颈:Claude 4.7 与 GPT-5.5 长上下文工程实测
数据库·人工智能·python·gpt·自动化·php·api