starrocks

jakeswang15 天前
starrocks·后端
去哪儿StarRocks实践作者介绍:任志民,2023年加入去哪儿旅行数据平台团队,主要负责数据平台OLAP引擎基础建设和相关数据产品研发工作。
鸿乃江边鸟15 天前
大数据·starrocks·sql
Starrocks中的 Query Profile以及explain analyze及trace命令中的区别本文基于Starrocks 3.5.5 现有公司因为业务的不同,可能会更加关系单个SQL 的RT,因为如果一个SQL的RT比较大的话,影响的就是这个业务,从而影响收入,所以对于这方面我们就比较关心, 而最近在基于Starrocks做计算存储引擎的时候,遇到了一些问题。时间上超过了2秒,因此需要分析一下对应SQL的指标。 最直接的就是开启 Query Profile,比如说做一下配置:
鸿乃江边鸟17 天前
大数据·starrocks·sql
Starrocks ShortCircuit短路径的调度本文基于Starrocks 3.3.5 在之前的Starrocks 的 ShortCircuit短路径中我们谈到过,基于点查的这种ShortCircuit短路径 在优化器上不会经过复杂的优化,更不会经过memo的CBO优化,这一点也是为什么点查会快。 而且在之前的文章中,也没说看到有规则判断点查必须是要求行存,实际中在Starrocks中列存和行列存储都是可以进行点查操作的(每个引擎不一样,当然效果也就不一样).
镜舟科技18 天前
starrocks·数据分析·列存储·行存储·mpp分布式架构
什么是列存储(Columnar Storage)?深度解析其原理与应用场景列存储(Column Storage)是一种革命性的数据库存储技术,它通过按列而非按行组织数据,从根本上改变了数据的物理存储结构。与传统行存储数据库不同,列式数据库将每一列的数据连续存储在一起,而不是将每一行的数据存储在一起。这种看似简单的存储结构变化,却为分析型查询带来了质的飞跃。
大数据狂人22 天前
大数据·starrocks·hive·数仓
深入剖析 StarRocks 与 Hive 的区别、使用场景及协同方案实践在现代数据分析与数仓建设中,Hive 与 StarRocks 是两种极具代表性的大数据组件。一个以批处理著称,一个则以高性能实时分析见长。本文将围绕两者的技术架构、核心特性、适用场景进行全面对比,并结合实践,剖析它们如何协同配合实现高效数据分析。
StarRocks_labs1 个月前
大数据·starrocks·人工智能·iceberg·lakehouse·智能bi·湖仓分析
Lakehouse x AI ,打造智能 BI 新体验本文整理自瓴羊的王璟尧老师与镜舟科技石强老师的联合分享,围绕 Quick BI 在智能 BI 场景中的落地实践,深入探讨了 StarRocks 如何凭借 MPP 架构、实时分析能力与 AI 原生支持,成为智能分析的理想 Lakehouse 引擎底座,助力 BI 从“被动查询”迈向“主动决策”,开启数据“会说话”的新体验。
StarRocks_labs1 个月前
数据库·starrocks·数据查询·存算分离·minlo
StarRocks × MinIO:打造灵活高效的存算分离方案“存算分离”(Decoupled Storage and Compute)是一种在现代数据系统中被广泛采用的架构设计。它将计算和存储解耦,使二者可以独立扩展,提升资源利用率并降低运维成本。StarRocks 从 3.0 版本开始支持这一架构,允许用户将数据存储从计算节点中剥离,实现更灵活、弹性的系统部署。
StarRocks_labs1 个月前
数据库·starrocks·数据湖·物化视图·存算分离
StarRocks Community Monthly Newsletter (Jun)存算分离:支持生成列、主键表重建索引;大规模导入逻辑优化,降低小文件数量。数据湖分析:Beta 支持 Iceberg 视图创建与修改;支持 Iceberg REST Catalog 嵌套命名空间;
John Song2 个月前
数据库·starrocks
starrocks的存储情况在 StarRocks 中,可以通过以下 SQL 查询 每个数据库的数据表及其数据量大小(包括行数、存储占用等关键信息):
镜舟科技2 个月前
starrocks·数据分析·数据可视化·tableau·连接器·交互式分析·mpp 数据库
StarRocks × Tableau 连接器完整使用指南 | 高效数据分析从连接开始在当今数据驱动的商业环境中,企业不仅需要一个能够处理海量数据的高性能分析数据库,还需要一个直观、强大的可视化工具来解读数据背后的故事。StarRocks 作为新一代极速全场景 MPP 数据库,以其卓越的 OLAP 分析能力著称;而 Tableau 则是数据可视化领域的领导者。 [1] StarRocks Tableau 连接器正是为了连接这两大“神器”而生,它实现了 Tableau 与 StarRocks 之间无缝且安全的集成。 [2]
镜舟科技2 个月前
starrocks·数据可视化·用户行为分析·商业智能·自然语言交互·商业价值·跨部门协作
数据可视化:5 分钟读懂其核心价值与技术实践在信息爆炸的时代,企业每天产生海量数据,从客户行为到销售业绩,从供应链运作到市场趋势。如何从这些原始数据中快速提炼有价值的信息?如何将复杂数据转化为直观易懂的决策依据?
漫步者TZ2 个月前
starrocks·分布式数据库
【StarRocks系列】建表优化目录一、数据模型选择 (核心优化)二、分区与分桶策略 (数据分布优化)三、字段类型与压缩四、索引策略五、高级特性应用
漫步者TZ2 个月前
数据库·starrocks·mysql·分布式数据库
【StarRocks系列】StarRocks vs Mysql目录StarRocks 简介核心特性典型应用场景StarRocks vs MySQL:核心区别详解关键差异总结
漫步者TZ2 个月前
数据库·starrocks·mysql
【StarRocks系列】架构、核心概念目录一、架构:分布式 MPP + 列式存储 + 向量化引擎二、存储:高性能列式存储引擎三、表设计:三类模型适配不同场景
漫步者TZ2 个月前
数据库·starrocks·事务
【StarRocks系列】事务目录SQL 事务Stream Load 事务接口一、接口原理二、使用流程三、关键注意事项四、接口优势回滚是全局性的
John Song2 个月前
starrocks·向量化引擎
StarRocks 全面向量化执行引擎深度解析StarRocks 的向量化执行引擎是其高性能的核心设计,相比传统行式处理引擎(如MySQL),性能可提升 5-10倍。以下是分层拆解:
镜舟科技3 个月前
starrocks·数据仓库·数据治理·bi·物化视图·bitmap 索引
数据仓库分层 4 层模型是什么?企业每天都在产生和收集海量数据。然而,面对这些数据,许多企业却陷入了困境:如何高效管理、处理和分析这些数据?如何从数据中提取有价值的信息来支持业务决策?这些问题困扰着众多数据分析师和 IT 管理者。
胖胖胖胖胖虎3 个月前
starrocks
记一次 Starrocks be 内存异常宕机突发性 be 内存飙高,直至被系统 kill 掉,be 内存如下:其中 starrocks_be_update_mem_bytes 指标打满,重启也是如此