starrocks

StarRocks_labs3 天前
starrocks·sql·pipeline·mpp·fe
StarRocks I/O 模型揭秘(一):查询是如何被拆解与调度的?作者:丁凯 StarRocks TSC Member导读:在存算分离架构下,查询性能的稳定性越来越依赖底层 I/O 设计。本文作为 StarRocks I/O 模型揭秘系列首篇,将围绕 Tablet、Fragment、Pipeline、Morsel、Scan Operator 等核心概念,梳理一次查询执行过程中底层 I/O 链路的基本运行机制
StarRocks_labs8 天前
starrocks·sql·架构·iceberg·作业帮
从 Presto 到 StarRocks:作业帮架构升级实践作者:作业帮大数据团队(覃争、孙建业、刘泽强)作业帮的 Presto 主要承载即席查询场景,天级查询规模在 2000~5000 次,但均值耗时在分钟级,整体性能偏慢;同时由于与 Yarn、HDFS 混部,高峰期宿主机 CPU 经常打满,资源争抢严重,查询体验波动明显。
代码派10 天前
数据库·starrocks·mysql·数据库管理·慢sql·ninedata·ddl变更
MySQL数据如何实时同步到StarRocks?NineData实操指南 原创做实时分析时,很多团队都会遇到同一个问题:业务数据在 MySQL,查询和报表想放到 StarRocks 跑,这条 MySQL -> StarRocks 链路到底怎么搭,才能既实时又稳定?
NineData10 天前
运维·数据库·starrocks·mysql·数据迁移·数据库管理工具·ninedata
MySQL到StarRocks 同步链路中的建表、DDL 跟随与数据校验把 MySQL 业务数据实时同步到 StarRocks,看上去只是“做一条同步链路”,实际落地后,难点通常不在传输本身,而在这几个环节:目标端建表是否省力、源表结构变化能否跟上、同步结果怎么验证、链路出现问题后是否便于排查。
MARSERERER14 天前
starrocks
StarRocks查询数据湖优点存在以下优点:
镜舟科技23 天前
starrocks·数据分析·olap·物化视图·金融行业·华农保险
华农保险 x StarRocks:从单机瓶颈到架构焕新,探索 OLAP 的涅槃之路在数字化转型的浪潮中,保险行业正经历着前所未有的数据爆发。对于华农保险而言,数据不仅是业务的记录,更是驱动决策的核心资产。
鸿乃江边鸟1 个月前
大数据·starrocks
Starrocks 主键查询和分区裁剪/bucket裁剪在之前的Starrocks ShortCircuit短路径的调度,我们只是提到经过了SQL优化模块,就直接进入到了发送BE阶段,其实在这里还有一个很重要的部分,就是分区裁剪和tablet裁剪,经过这两个步骤,才会发送到对应的BE节点上,也从侧面解释了StarRocks 各类索引以及存储位置详解中的主键为啥会在tablet层级(经过了tablet裁剪后,就可以直接通过主键索引获取到对应的数据),这里也顺便了解一下 分区裁剪和tablet裁剪 的实现。
万琛2 个月前
starrocks
【Starrocks4.0.2-索引对比】在 StarRocks 4.0.2 版本中,全文搜索和模糊匹配能力得到了显著增强,主要得益于两个关键的 Beta 级索引功能:全文倒排索引(Inverted Index) 和 N-gram Bloom Filter 索引。虽然两者都用于加速文本类查询,但它们的设计目标、适用场景、性能表现及使用方式存在显著差异。
StarRocks_labs2 个月前
starrocks·人工智能·物化视图·lakehouse·湖仓架构
不止于极速查询!StarRocks 2025 年度回顾:深耕 Lakehouse,加速 AI 融合2025 年,是 StarRocks 持续深耕与进化的一年。围绕 Lakehouse 与 AI 实时能力,多个关键能力在迭代与实践中渐次落地。项目的每一步前行,都得益于社区每一次真实的反馈与贡献。
阿里云大数据AI技术2 个月前
starrocks·阿里云·spark·paimon
淘宝闪购基于阿里云 EMR Serverless Spark&Paimon 的湖仓实践:超大规模下的特征生产&多维分析双提效淘宝闪购从25年春天的横空出世,到秋天“第一杯奶茶”的火爆,再到今天成为广大消费者即时生活服务的日常,业务团队取得了巨大的突破,背后自然少不了技术团队的支撑。经过一年多的探索实践,闪购大数据团队沉淀了以Paimon为底座,流、批、分析多引擎协作的Lakehouse架构。本文介绍阿里云 Serverless Spark + Paimon在淘宝闪购大数据湖仓场景的应用。
StarRocks_labs2 个月前
数据库·starrocks·olap·淘宝·paimon
双 11 大促峰值不翻车:淘天集团 Paimon + StarRocks 大规模 OLAP 查询实战与优化作者:朱奥 /淘天集团高级数据工程师导读:双 11 等大促场景会在短时间内集中爆发:运营与业务 BI 在开卖后的窗口期密集访问数据产品,瞬时请求量陡增,对查询引擎的稳定性、成本与治理体系提出极高要求。与此同时,业务对近实时数据产品的诉求持续增强,传统“多存储、多链路、依赖回刷”的模式在研发效率、回刷成本与响应速度上逐步暴露瓶颈。
StarRocks_labs3 个月前
starrocks·数据湖·dataops·dbt·etl 框架
dbt+DataOps+StarRocks:构建一体化数据治理与智能分析平台实践作者:胡翔,SJM Resorts 企业方案设计高级经理、dbt- starrocksContributor
阿坤带你走近大数据3 个月前
starrocks·架构·olap
StarRocks(SR)的基本概念、架构及基本使用介绍StarRocks(原名 DorisDB,后开源并更名为 StarRocks)是一款高性能、实时、MPP(大规模并行处理)架构的现代化分布式 SQL 数据库,专为 OLAP(在线分析处理) 场景设计。它兼容 MySQL 协议,支持标准 SQL,具备亚秒级查询响应能力,适用于实时报表、即席查询、多维分析、用户画像、日志分析等场景。
小Tomkk3 个月前
starrocks·架构
从0到1搭建StarRocks3.4.1存算一体架构(VM 虚拟机版)随着数据量的不断增长与分析需求的增加,现代数据仓库系统对存储与计算的性能要求愈加苛刻。传统的分布式数据仓库架构往往面临着存储与计算分离带来的瓶颈,数据的读写延迟、网络传输等问题,使得系统的整体性能无法满足高效分析的需求。为了解决这个问题,StarRocks提出了存算一体的架构设计,能够同时优化存储和计算,提高查询性能。
StarRocks_labs4 个月前
数据库·starrocks·postgres·snowflake·fresha
Fresha 的实时分析进化:从 Postgres 和 Snowflake 走向 StarRocks作者:Anton Borisov开源无国界,在本期「StarRocks 全球用户精选案例」中,我们走进 Fresha——全球领先的美业、健康与自我护理行业一站式平台,服务于全球数以百万计的消费者与商家。