starrocks

鸿乃江边鸟2 天前
大数据·starrocks·sql
StarRocks 中 CURRENT_TIMESTAMP 和 CURRENT_TIME 分区过滤问题本文基于Starrocks 3.3.5 最近在进行Starrocks 跑数据的时候,发现了一个SQL 扫描了所有分区的数据,简化后的SQL如下:
StarRocks_labs3 天前
数据库·starrocks·数据分析·spark·olap·物化视图·apache druid
【活动回顾】StarRocks Singapore Meetup #2 @Shopee3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。
镜舟科技5 天前
starrocks·数据分析·apache·iceberg·数据湖·湖仓一体·元数据
Apache Iceberg 解析,一文了解Iceberg定义、应用及未来发展Apache Iceberg 是一种开源的 表格式(Table Format) ,专为超大规模数据分析场景设计,通过标准化数据存储规范与访问协议,解决了传统数据湖在元数据管理、事务控制、查询性能等方面的核心痛点。以下从六个维度全面解析其技术原理、应用场景与最佳实践。
Shyllin6 天前
starrocks
StarRocks BE宕机排查原因:2.X版本OOM原因比如机器内存40G,上面有个Mysql,理论上限会用4G,那么配置下mem_limit=34G (40-4-2)
StarRocks_labs13 天前
大数据·starrocks·阿里云·架构·湖仓一体
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践作者:范振: 阿里云计算平台开源 OLAP 负责人,StarRocks 社区 Champion翁才智: 阿里云技术专家,Apache Paimon PMC Member
StevenLdh14 天前
数据库·starrocks·sql·mysql
StarRocks SQL使用与MySql的差异及规范注意事项StarRocks为OLAP列存数据库,擅长复杂分析查询,需显式定义分区/分桶键;MySQL为OLTP行存数据库,适合事务处理。SQL差异:StarRocks支持批量写入(避免单行INSERT)、物化视图优化,禁用LIMIT分页;MySQL依赖事务和索引。规范建议:建模时用宽表减少关联,选高频字段作分桶键;批量写入控频,避免小文件;查询避免SELECT *,用EXPLAIN调优;定期清理数据。两者核心差异在场景适配,需按分析(StarRocks)与事务(MySQL)需求选择。
京河小蚁24 天前
starrocks
starrocks如何配置多个hive数据源,其中一个是kerberos认证StarRocks 存储一体 3.2.8业务人员想要分析的数据分别存在于两套hive集群,并且其中一套集群需要Kerberos认证的方式访问。 查看官网,没有提到配置多个hive数据源的相关说明,然后在社区发现了下面帖子
最笨的羊羊1 个月前
starrocks·flink系列·使用flink cdc3·从mysql数据库·同步数据到doris
flink系列之:使用flink cdc3从mysql数据库同步数据到doris和starrocks解压flink修改flink配置文件config.yaml设置flink 环境变零启动flink查看jps
ZNineSun1 个月前
starrocks·olap·数据湖·mpp·oltp
新一代MPP数据库:StarRocksOLAP数据库(Online Analytical Processing Database,在线分析处理数据库)是大数据场景下用于进行数据分析不可或缺的系统,早期主要有Oracle、Vertica、HANA等商业数据库占据市场份额,后来出现了GreenPlum、Impala、Presto、Kylin等开源的OLAP系统,字节跳动带火了ClickHouse,Snowflake的出现和上市使OLAP进入了云原生时代,之后从百度Palo发展而来的StarRocks和Doris相继进入Linux和Aapche基金
StarRocks_labs2 个月前
starrocks·人工智能·搜索引擎·开源
腾讯大数据基于 StarRocks 的向量检索探索作者:赵裕隆,腾讯大数据研发工程师本文整理自腾讯大数据工程师在 StarRocks 年度峰会上的分享,深入探讨了向量检索技术的原理与应用。此功能已应用到腾讯内部多个场景,引入 StarRocks 后,业务不仅不需要维护多套数据库还在性能上有了显著的提升:
漫步者TZ2 个月前
数据库·starrocks·clickhouse
Starrocks 对比 ClickhouseStarRocks 在极速查询方面上做了很多,下面着重介绍四点: 1)向量化执行:StarRocks 实现了从存储层到查询层的全面向量化执行,这是 StarRocks 速度优势的基础。向量化执行充分发挥了 CPU 的处理能力。 全面向量化引擎按照列式的方式组织和处理数据。StarRocks 的数据存储、内存中数据的组织方式,以及 SQL 算子的计算方式,都是列式实现的。按列的数据组织也会更加充分利用 CPU 的 Cache,按列计算会有更少的虚函数调用以及更少的分支判断,从而获得更加充分的 CPU 指令流
小Tomkk2 个月前
运维·starrocks·docker·容器
Docker 部署 Starrocks 教程StarRocks 是一款高性能的分布式分析型数据库,主要用于 OLAP(在线分析处理)场景。它最初是由百度的开源团队开发的,旨在为大数据分析提供一个高效、低延迟的解决方案。StarRocks 支持实时数据分析,能够处理大规模的数据集,并提供快速的查询响应。
书忆江南2 个月前
starrocks·源码·编译·be
StarRocks BE源码编译、CLion高亮跳转方法阅读SR BE源码时,很多类的引用位置爆红找不到,或无法跳转过去,而自己的Linux机器往往缺乏各种C++依赖库,配置安装比较麻烦,因此总体的思路是通过CLion远程连接SR社区已经安装完各种依赖库的Docker容器,进行编译和源码查看。
鸿乃江边鸟2 个月前
大数据·starrocks·sql
StarRocks 怎么让特定的SQL路由到FE master节点的本文基于 StarRocks 3.1.7 大家都知道对于Starrocks来说 FE 是分 master和follower的,而只有master节点才能对元数据进行写操作。但是为什么呢?哪里有体现呢? 这其中的原因在网上是搜不到的,所以大家只知道只有master节点才能对元数据进行写操作,而哪里有体现呢
大鳥3 个月前
数据库·starrocks·sql
深入了解 StarRocks 表类型:解锁高效数据分析的密码在当今数字化浪潮下,大数据分析成为企业决策、优化业务流程的关键利器。StarRocks 作为一款备受瞩目的高性能分析型数据库,其多样化的表类型为复杂的数据处理需求提供了精准解决方案。今天,就让我们一同深入探索 StarRocks 中的主键表、明细表、聚合表和更新表,从工作原理、读写流程、适用场景、标准建表语句等多个维度全面剖析,助您开启高效的大数据分析之旅。
京河小蚁3 个月前
starrocks
StarRocks 生产部署一套集群,存储空间如何规划?由于 FE 节点仅在其存储中维护 StarRocks 的元数据,因此在大多数场景下,每个 FE 节点只需要 100 GB 的 HDD 存储,生产建议200G SSD以上,FE-FOLLOWER节点也一样的配置。