starrocks

ClouGence7 天前
大数据·数据库·starrocks·olap·dba·oltp·spanner
从 OLTP 到 OLAP:Spanner 到 StarRocks 架构演进与实现同样的数据,放在不同的系统里,成本可以相差数倍。这是我们的用户完成 Google Spanner 到 StarRocks 迁移后的真实结果,分析成本直接降低了 70%–80%。
万琛13 天前
starrocks·性能优化
【StarRocks / Doris】Broker Load 性能优化实战适用人群:数据开发初学者、初级数据工程师、刚接触 MPP 数据库导入的同学 文章目标:把 Broker Load 的性能优化讲清楚,尤其是“指定分区导入”“为什么不建议并行写同一张表”“多批次大文件写单表如何稳又快” 版本说明:
Austinu13 天前
starrocks·flink cdc·sqlsever
Flink CDC 做SQL Server → StarRocks 的全量 + 增量同步对源数据库的压力分析Flink CDC 做 SQL Server → StarRocks 的全量 + 增量同步,对 SQL Server 一定会产生压力。 但压力大小取决于:
Austinu16 天前
starrocks
StarRocks入门https://docs.mirrorship.cn/zh/docs/quick_start/shared-nothing/
老徐电商数据笔记19 天前
starrocks·数据治理·实时数仓·selectdb·电商数据仓库
电商实时数仓开发规范说明:本规范可作为电商/跨境电商实时数仓开发规范参考。版本记录本规范适用于基于 阿里云 SelectDB(StarRocks) + Flink CDC + Kafka + Apache Paimon 架构的电商实时数仓开发。所有实时数据链路的设计、开发、上线、运维均须遵守本规范。
StarRocks_labs23 天前
starrocks·sql·pipeline·mpp·fe
StarRocks I/O 模型揭秘(一):查询是如何被拆解与调度的?作者:丁凯 StarRocks TSC Member导读:在存算分离架构下,查询性能的稳定性越来越依赖底层 I/O 设计。本文作为 StarRocks I/O 模型揭秘系列首篇,将围绕 Tablet、Fragment、Pipeline、Morsel、Scan Operator 等核心概念,梳理一次查询执行过程中底层 I/O 链路的基本运行机制
StarRocks_labs1 个月前
starrocks·sql·架构·iceberg·作业帮
从 Presto 到 StarRocks:作业帮架构升级实践作者:作业帮大数据团队(覃争、孙建业、刘泽强)作业帮的 Presto 主要承载即席查询场景,天级查询规模在 2000~5000 次,但均值耗时在分钟级,整体性能偏慢;同时由于与 Yarn、HDFS 混部,高峰期宿主机 CPU 经常打满,资源争抢严重,查询体验波动明显。
代码派1 个月前
数据库·starrocks·mysql·数据库管理·慢sql·ninedata·ddl变更
MySQL数据如何实时同步到StarRocks?NineData实操指南 原创做实时分析时,很多团队都会遇到同一个问题:业务数据在 MySQL,查询和报表想放到 StarRocks 跑,这条 MySQL -> StarRocks 链路到底怎么搭,才能既实时又稳定?
NineData1 个月前
运维·数据库·starrocks·mysql·数据迁移·数据库管理工具·ninedata
MySQL到StarRocks 同步链路中的建表、DDL 跟随与数据校验把 MySQL 业务数据实时同步到 StarRocks,看上去只是“做一条同步链路”,实际落地后,难点通常不在传输本身,而在这几个环节:目标端建表是否省力、源表结构变化能否跟上、同步结果怎么验证、链路出现问题后是否便于排查。
MARSERERER1 个月前
starrocks
StarRocks查询数据湖优点存在以下优点:
镜舟科技1 个月前
starrocks·数据分析·olap·物化视图·金融行业·华农保险
华农保险 x StarRocks:从单机瓶颈到架构焕新,探索 OLAP 的涅槃之路在数字化转型的浪潮中,保险行业正经历着前所未有的数据爆发。对于华农保险而言,数据不仅是业务的记录,更是驱动决策的核心资产。
鸿乃江边鸟2 个月前
大数据·starrocks
Starrocks 主键查询和分区裁剪/bucket裁剪在之前的Starrocks ShortCircuit短路径的调度,我们只是提到经过了SQL优化模块,就直接进入到了发送BE阶段,其实在这里还有一个很重要的部分,就是分区裁剪和tablet裁剪,经过这两个步骤,才会发送到对应的BE节点上,也从侧面解释了StarRocks 各类索引以及存储位置详解中的主键为啥会在tablet层级(经过了tablet裁剪后,就可以直接通过主键索引获取到对应的数据),这里也顺便了解一下 分区裁剪和tablet裁剪 的实现。
万琛3 个月前
starrocks
【Starrocks4.0.2-索引对比】在 StarRocks 4.0.2 版本中,全文搜索和模糊匹配能力得到了显著增强,主要得益于两个关键的 Beta 级索引功能:全文倒排索引(Inverted Index) 和 N-gram Bloom Filter 索引。虽然两者都用于加速文本类查询,但它们的设计目标、适用场景、性能表现及使用方式存在显著差异。
StarRocks_labs3 个月前
starrocks·人工智能·物化视图·lakehouse·湖仓架构
不止于极速查询!StarRocks 2025 年度回顾:深耕 Lakehouse,加速 AI 融合2025 年,是 StarRocks 持续深耕与进化的一年。围绕 Lakehouse 与 AI 实时能力,多个关键能力在迭代与实践中渐次落地。项目的每一步前行,都得益于社区每一次真实的反馈与贡献。
阿里云大数据AI技术3 个月前
starrocks·阿里云·spark·paimon
淘宝闪购基于阿里云 EMR Serverless Spark&Paimon 的湖仓实践:超大规模下的特征生产&多维分析双提效淘宝闪购从25年春天的横空出世,到秋天“第一杯奶茶”的火爆,再到今天成为广大消费者即时生活服务的日常,业务团队取得了巨大的突破,背后自然少不了技术团队的支撑。经过一年多的探索实践,闪购大数据团队沉淀了以Paimon为底座,流、批、分析多引擎协作的Lakehouse架构。本文介绍阿里云 Serverless Spark + Paimon在淘宝闪购大数据湖仓场景的应用。
StarRocks_labs3 个月前
数据库·starrocks·olap·淘宝·paimon
双 11 大促峰值不翻车:淘天集团 Paimon + StarRocks 大规模 OLAP 查询实战与优化作者:朱奥 /淘天集团高级数据工程师导读:双 11 等大促场景会在短时间内集中爆发:运营与业务 BI 在开卖后的窗口期密集访问数据产品,瞬时请求量陡增,对查询引擎的稳定性、成本与治理体系提出极高要求。与此同时,业务对近实时数据产品的诉求持续增强,传统“多存储、多链路、依赖回刷”的模式在研发效率、回刷成本与响应速度上逐步暴露瓶颈。