一次StarRocks分析的经历

起因

有人反馈说SR,在系统资源还有空闲的时候,被操作系统杀掉了。没有日志,怀疑是bug,如果要解决这个bug。据说在网上查到要升级。请我准备一下升级。

质疑

StarRocks是一款分析型数据库,2021年正式开源,虽然起步晚,但是能听过且有不少应用的也不会有非常致命的问题。我觉得如果真的像上面说的,那就是比较严重的问题。但是我不认为这个反馈是对的。

现实工作中有太多事情,反馈的和实际的简直相差很大。比如有人说数据库写入慢。按说除了那种互联网大厂,一般企业的数据库什么时候写入能成为瓶颈?一去看就是insert into select 这样。而select又写的是个全表查询。所以不是insert慢,其实是查询慢。而查询通过索引或者改写正确的逻辑后,不仅不慢,反而能让反馈的人吃,怎么会这么快?

本来就是使用不当。这里我就说很多企业(除了那种互联网大厂真的没有有几千万的业务订单)好好写设计逻辑和写SQL的话,根本没有大数据的场景。还是本身没用好。

分析

本次是be进程,那么就去查be的log。因为有两次。

第一次是:看上去是访问内存错误。

第二次是:看上去应该是资源不足了。

从这个信息来看,这两次都不是一回事。

之所以第一次说是内存错误,是因为StarRocks在出问题时候做了coredump。

我也是尝试着去用gdb解析一下。得到效果如下:

有一句结论:Failed to read a valid object file image from memory.

以我浅薄的认知,我觉得是去访问内存上遇到问题。为什么遇到问题这里遇到平时没有问题?我猜测还是应用肆无忌惮的查询,在处理过程中内存不足或者处理上出现问题。

我个人认为都是使用上不当所致。和bug关系不大。SR的使用也是有规范的。SQL的规范。

这个场景是业务人员使用托拉拽的工具访问SR,听到这里可能你就能理解。各种表和SQL在这种无代码的工具下使用就会导致SQL的低效进而引发很多问题。

低代码和无代码的区别是,低代码面向的是开发和运维人员,简化工作。

无代码面对的是业务人员,降低技术使用难度。

但是重点是,我认为降低的是使用门槛,不代表降低业务分析人员的分析门槛。

首先要具备分析师的技能和素质吧?不能什么都不懂的就是过来玩一样,指望这样碰撞出来能有什么有价值的东西吧?

印证

那么这些都已经这样报错了,还会是反馈的那样,系统没压力,SR就不工作了吗?

不是的。

通过日志定位的时间。反查监控。这个数值还是非常震惊的。对比出问题前后和出问题之中的数据,显而易见的平坦与峰值。

这就彻底说明反馈的和实际情况违背。

结论

不是StarRocks的bug,不用升级。

明显是使用不当所致。无代码对该分析场景使用者的专业素质有非常高的要求。要求是专业的分析人员。这种在一个企业中应该是极少数。

其次由于托拉拽的基础表的选择其实又是一个架构问题。如果能清晰的指导业务逻辑,应该是CDC汇聚过来的业务基表。而不是经过Hadoop全家桶处理过的大宽表。

我经常看到打开一个页面100个报表。每个报表至于多少个复杂SQL就不得而知了。而使用者可能只用这里的1个报表。即要看百分之一的图表,但是要同时把100个运行一下。

方显大数据,方显的大负荷,非大数据不能处理也。

相关推荐
m0_7369191014 分钟前
超越Python:下一步该学什么编程语言?
jvm·数据库·python
m0_7482299925 分钟前
ThinkPHP快速入门:从零到实战
c语言·开发语言·数据库·学习
阿蒙Amon35 分钟前
C#每日面试题-Thread.Sleep和Task.Delay的区别
java·数据库·c#
沉舟侧畔千帆过_1 小时前
一个DBA的真心话:搞定Oracle+PG双库,我就靠这招
数据库·oracle·dba
醉风塘1 小时前
【终极解决方案】Oracle ORA-01795错误:IN列表1000条限制的全面突破指南
数据库·oracle
信创天地1 小时前
从 Oracle 到国产数据库:迁移后成本直降 60%、性能反超 30% 的实战秘籍
数据库·oracle
Mikhail_G1 小时前
Mysql数据库操作指南——排序(零基础篇十)
大数据·数据库·sql·mysql·数据分析
沉舟侧畔千帆过_1 小时前
能源核心系统国产化攻坚:智能电网调度系统从 Oracle 到金仓 KES 迁移实录
数据库·oracle·能源·kingbase·金仓数据库
chengrise1 小时前
Oracle EBS 成本异常排查全指南:差异分摊、成本回滚场景与解决方案
运维·数据库·oracle·erp·ebs
wxc0901 小时前
Oracle 性能分析系列:tkprof 工具详解 —— 解码 10046 Trace 的利器
数据库·oracle