starrocks

镜舟科技3 天前
starrocks·数据分析·olap·物化视图·金融行业·华农保险
华农保险 x StarRocks:从单机瓶颈到架构焕新,探索 OLAP 的涅槃之路在数字化转型的浪潮中,保险行业正经历着前所未有的数据爆发。对于华农保险而言,数据不仅是业务的记录,更是驱动决策的核心资产。
鸿乃江边鸟9 天前
大数据·starrocks
Starrocks 主键查询和分区裁剪/bucket裁剪在之前的Starrocks ShortCircuit短路径的调度,我们只是提到经过了SQL优化模块,就直接进入到了发送BE阶段,其实在这里还有一个很重要的部分,就是分区裁剪和tablet裁剪,经过这两个步骤,才会发送到对应的BE节点上,也从侧面解释了StarRocks 各类索引以及存储位置详解中的主键为啥会在tablet层级(经过了tablet裁剪后,就可以直接通过主键索引获取到对应的数据),这里也顺便了解一下 分区裁剪和tablet裁剪 的实现。
万琛1 个月前
starrocks
【Starrocks4.0.2-索引对比】在 StarRocks 4.0.2 版本中,全文搜索和模糊匹配能力得到了显著增强,主要得益于两个关键的 Beta 级索引功能:全文倒排索引(Inverted Index) 和 N-gram Bloom Filter 索引。虽然两者都用于加速文本类查询,但它们的设计目标、适用场景、性能表现及使用方式存在显著差异。
StarRocks_labs2 个月前
starrocks·人工智能·物化视图·lakehouse·湖仓架构
不止于极速查询!StarRocks 2025 年度回顾:深耕 Lakehouse,加速 AI 融合2025 年,是 StarRocks 持续深耕与进化的一年。围绕 Lakehouse 与 AI 实时能力,多个关键能力在迭代与实践中渐次落地。项目的每一步前行,都得益于社区每一次真实的反馈与贡献。
阿里云大数据AI技术2 个月前
starrocks·阿里云·spark·paimon
淘宝闪购基于阿里云 EMR Serverless Spark&Paimon 的湖仓实践:超大规模下的特征生产&多维分析双提效淘宝闪购从25年春天的横空出世,到秋天“第一杯奶茶”的火爆,再到今天成为广大消费者即时生活服务的日常,业务团队取得了巨大的突破,背后自然少不了技术团队的支撑。经过一年多的探索实践,闪购大数据团队沉淀了以Paimon为底座,流、批、分析多引擎协作的Lakehouse架构。本文介绍阿里云 Serverless Spark + Paimon在淘宝闪购大数据湖仓场景的应用。
StarRocks_labs2 个月前
数据库·starrocks·olap·淘宝·paimon
双 11 大促峰值不翻车:淘天集团 Paimon + StarRocks 大规模 OLAP 查询实战与优化作者:朱奥 /淘天集团高级数据工程师导读:双 11 等大促场景会在短时间内集中爆发:运营与业务 BI 在开卖后的窗口期密集访问数据产品,瞬时请求量陡增,对查询引擎的稳定性、成本与治理体系提出极高要求。与此同时,业务对近实时数据产品的诉求持续增强,传统“多存储、多链路、依赖回刷”的模式在研发效率、回刷成本与响应速度上逐步暴露瓶颈。
StarRocks_labs3 个月前
starrocks·数据湖·dataops·dbt·etl 框架
dbt+DataOps+StarRocks:构建一体化数据治理与智能分析平台实践作者:胡翔,SJM Resorts 企业方案设计高级经理、dbt- starrocksContributor
阿坤带你走近大数据3 个月前
starrocks·架构·olap
StarRocks(SR)的基本概念、架构及基本使用介绍StarRocks(原名 DorisDB,后开源并更名为 StarRocks)是一款高性能、实时、MPP(大规模并行处理)架构的现代化分布式 SQL 数据库,专为 OLAP(在线分析处理) 场景设计。它兼容 MySQL 协议,支持标准 SQL,具备亚秒级查询响应能力,适用于实时报表、即席查询、多维分析、用户画像、日志分析等场景。
小Tomkk3 个月前
starrocks·架构
从0到1搭建StarRocks3.4.1存算一体架构(VM 虚拟机版)随着数据量的不断增长与分析需求的增加,现代数据仓库系统对存储与计算的性能要求愈加苛刻。传统的分布式数据仓库架构往往面临着存储与计算分离带来的瓶颈,数据的读写延迟、网络传输等问题,使得系统的整体性能无法满足高效分析的需求。为了解决这个问题,StarRocks提出了存算一体的架构设计,能够同时优化存储和计算,提高查询性能。
StarRocks_labs3 个月前
数据库·starrocks·postgres·snowflake·fresha
Fresha 的实时分析进化:从 Postgres 和 Snowflake 走向 StarRocks作者:Anton Borisov开源无国界,在本期「StarRocks 全球用户精选案例」中,我们走进 Fresha——全球领先的美业、健康与自我护理行业一站式平台,服务于全球数以百万计的消费者与商家。
MARSERERER3 个月前
starrocks
StarRocks慢查询巡检规则
镜舟科技3 个月前
starrocks·数据分析·开源·数字化转型·华为鲲鹏·lakehouse·镜舟科技
活动回顾 | 镜舟科技出席鲲鹏开发者创享日・北京站12月12日,由华为技术有限公司主办的“鲲鹏开发者创享日・北京站”在北京圆满落幕。作为中国领先的企业级数据基础设施服务商,镜舟科技受邀出席,并亮相“开发者解决方案展区”,与现场顶尖技术大咖、科研领袖及行业伙伴共同探讨前沿科技,展示了新一代数据架构的无限可能。
鹿衔`3 个月前
starrocks·apache·paimon
StarRocks 2.5.22 混合部署实战文档(CDH环境)目录1. 项目背景与环境节点分配2. 核心规划 (避坑关键)2.1 端口规划表2.2 目录规划3. 部署前置准备 (nd11, nd12, nd13)
StarRocks_labs3 个月前
数据库·starrocks·compaction·memtable·本地磁盘 spill
从小文件困局到“花小钱办大事”:StarRocks 存算分离批量导入优化实践作者:罗一鑫 StarRocks Committer导读:在存算分离架构下,“一次性导入海量历史数据”正成为被放大的隐形风险。本文介绍 StarRocks 如何从写入源头重构大导入路径:通过“内存→本地磁盘 spill→集中 merge→对象存储”,减少远程写入和重复开销,降低 S3 写入次数并放大文件粒度,释放本地 I/O 能力,从源头缓解小文件问题,帮助用户以更低投入获得更高效、更稳定的使用体验。
想ai抽3 个月前
starrocks·doris·数据湖
StarRocks PB 级日增量数据模型优化:注意点、调优策略与风险防控StarRocks 处理每日 PB 级日增量时,核心矛盾是「高吞吐导入」与「低延迟查询」的平衡,需从 数据模型设计、导入链路、存储查询、资源调度、稳定性保障 五维度系统性优化,同时规避增量场景下的典型风险。以下是具体细节:
杰克逊的日记5 个月前
starrocks·数据仓库·mpp
StarRocks数据仓库StarRocks 是一款 高性能、实时分析型数据库(OLAP),由字节跳动开源(2020 年开源,2023 年进入 Apache 孵化器),核心定位是 “实时数仓 + 湖仓一体”,专为 PB 级数据的快速查询、多维分析、实时报表等场景设计,广泛应用于互联网、金融、零售、政务等行业。