技术栈
apache kylin
武子康
15 天前
大数据
·
后端
·
apache kylin
大数据-166 Apache Kylin 1.6 Streaming Cubing 实战:Kafka 到分钟级 OLAP
实时数据更新在现代数据分析领域是一种普遍且日益增长的需求,特别是在金融交易监控、物联网设备管理和电商实时推荐等场景中。企业需要快速捕捉和分析数据趋势,才能在瞬息万变的市场环境中做出及时、正确的决策。
武子康
16 天前
大数据
·
后端
·
apache kylin
大数据-165 Apache Kylin Cube7 实战:聚合组/RowKey/编码与体积精度对比
省略Model等操作。 构建前面Cube4类似的Cube7,仅在维度定义有区别。(我这里是Clone Cube4,然后修改的) wzk_test_kylin_cube_7的字段中,都是Normal: 生成的如下图:
武子康
17 天前
大数据
·
后端
·
apache kylin
大数据-164 Apache Kylin Cuboid 剪枝实战:Derived 维度与膨胀率控制
Cuboid 特指 Kylin 中在某一种维度组合下所计算的所有数据,以减少Cuboid数量为目的的优化统称为Cuboid剪枝。 在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算。
武子康
18 天前
大数据
·
后端
·
apache kylin
大数据-163 Apache Kylin Segment 合并实战:手动/自动合并、保留策略与 JDBC 示例
在 Apache Kylin 中,手动触发 Segment 合并的步骤如下:选择要合并的 Cube 和 Segments: 进入 Kylin Web UI,选择你要操作的 Cube,进入该 Cube 的详情页面。在“Segments”标签页下,可以看到当前 Cube 的所有 Segments。选择你希望合并的 Segments。
武子康
19 天前
大数据
·
后端
·
apache kylin
大数据-162 Apache Kylin 增量 Cube 与 Segment 实战:按天分区增量构建指南
Kylin将Cube划分为多个Segment(对应就是HBase中的一个表)例如:以下为针对某个Cube的Segment
武子康
20 天前
大数据
·
后端
·
apache kylin
大数据-161 Apache Kylin Cube 实战:建模、构建与查询加速完整指南
Apache Kylin 是一个开源的分布式分析引擎,专注于提供大数据的实时OLAP(在线分析处理)能力。Cube(立方体)是 Apache Kylin 的核心概念之一,通过预计算大规模数据的多维数据集合,加速复杂的 SQL 查询。下面详细介绍 Cube 的关键点:
武子康
20 天前
大数据
·
后端
·
apache kylin
大数据-160 Apache Kylin Cube 实战:从建模到构建与查询(含踩坑与优化)
关键参数计算公式:Cuboid数量估算 N=∏i=1n(Li+1)N = \prod_{i=1}^{n}(L_i + 1)N=∏i=1n(Li+1) ( LiL_iLi为第i个Aggregation Group的维度层级数)
武子康
22 天前
大数据
·
后端
·
apache kylin
大数据-159 Apache Kylin Cube 实战:Hive 装载与预计算加速(含 Cuboid/实时 OLAP,Kylin 4.x)
Apache Kylin 是一个开源的分布式分析引擎,专注于提供大数据的实时OLAP(在线分析处理)能力。Cube(立方体)是 Apache Kylin 的核心概念之一,通过预计算大规模数据的多维数据集合,加速复杂的 SQL 查询。下面详细介绍 Cube 的关键点:
武子康
23 天前
大数据
·
后端
·
apache kylin
大数据-158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录(含坑位与修复)
我这里就不根据上图来做了,因为我的服务器资源比较紧张,我就自由安排了。 需要注意:要求HBase的hbase.zookeeper.quorum值必须只能是 host1、host2这种,不允许host1:2181、host2:2181这种。
武子康
24 天前
大数据
·
后端
·
apache kylin
大数据-157 Apache Kylin 全面指南:MOLAP 架构、Hive/Kafka 实战与实时 OLAP 落地
Apache Kylin是一款开源的分布式分析引擎,专门用于处理超大规模数据集的多维在线分析处理(MOLAP)。该技术最初由eBay中国研发中心的工程师团队于2013年开发,旨在解决eBay日益增长的海量数据分析需求。
我是有底线的