数仓问答篇(一)

数仓架构(即席查询)

总体来说,Hadoop架构在数据量较低的情况下,运行速度远不及MPP架构,但数据量一旦超过某个量级,Hadoop架构在吞吐量方面将非常有优势。有些大数据数据仓库产品也采用混合架构 ,以融合两者的优点,例如Impala、Presto等都是基于HDFS的MPP分析引擎,仅利用HDFS实现分区容错性,放弃MapReduce计算模型,在面向OLAP场景时可实现更好的性能,降低延迟。

MPP vs Hadoop架构 - 知乎

ClickHouse进行轻量化数仓搭建【计算引擎:Hive VS ClickHouse】

ClickHouse适合简单的DW之上的即席查询。而Spark由于其分布式特性,导致其任务启动时间很长,因此不适合实现即席查询,但是对于大数据量的join等复杂查询时具备非常大的优势。

ClickHouse的优化重点在如何提高单机的处理能力,而Spark的优化重点在于如何提高分布式的协作效率。

ClickHouse与Hive的区别,终于有人讲明白了-clickhouse与hive 区别

相关推荐
markuszhang3 小时前
Elasticsearch 官网阅读之 Term-level Queries
大数据·elasticsearch·搜索引擎
Hello World......4 小时前
Java求职面试:从核心技术到大数据与AI的场景应用
大数据·java面试·技术栈·互联网大厂·ai服务
python算法(魔法师版)6 小时前
.NET NativeAOT 指南
java·大数据·linux·jvm·.net
星川皆无恙6 小时前
大模型学习:Deepseek+dify零成本部署本地运行实用教程(超级详细!建议收藏)
大数据·人工智能·学习·语言模型·架构
L耀早睡6 小时前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄7 小时前
MapReduce打包运行
大数据·mapreduce
计算机人哪有不疯的7 小时前
Mapreduce初使用
大数据·mapreduce
菜鸟冲锋号7 小时前
Flink SQL、Hudi 、Doris在数据上的组合应用
大数据·flink
尘世壹俗人7 小时前
hadoop.proxyuser.代理用户.授信域 用来干什么的
大数据·hadoop·分布式
鸿乃江边鸟9 小时前
Starrocks的主键表涉及到的MOR Delete+Insert更新策略
大数据·starrocks·sql