Hadoop 技术生态体系

广义上的Hadoop是指其整个技术生态体系,包括但不限于以下组件:

这里选择几个比较重要的组件简单介绍

一、HBase:分布式数据库

HBase是Hadoop的数据库,HBase是一个分布式的、面向列的开源非关系型数据库,它不同于一般的关系数据库,是一个适合非结构化数据存储的数据库。HBase利用Hadoop的HDFS作为其文件存储系统,利用ZooKeeper作为其协调工具,非常适合用来进行大数据的实时读写。

HBase表是一个稀疏多维表,表中的数据是未经解释的字符串,没有数据类型,每一行都有一个行键,表被分组成许多列族集合,列族支持动态扩展,可以很方便地添加一个列族或列,无须事先预定列的数量和类型,所有列都是以字符串的形式存储。

二、Hive:数据仓库工具

Hive是一个基于Hadoop的强大的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

三、Kafka:分布式发布订阅消息系统

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,Kafka是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

四、ZooKeeper:分布式协调服务

ZooKeeper作为一个高可用的分布式服务框架,主要用来解决分布式集群中应用系统的一致性问题,它可以减轻分布式应用程序所承担的协调任务,在Hadoop、HBase、Kafka等分布式系统中,ZooKeeper都是作为核心组件使用的。其典型应用场景有:实现HDFS的NameNode高可用HA;实现HBase的HMaster高可用HA. ZooKeeper的部署节点一般为奇数个。

五、Spark:内存分布式计算框架

Spark是一个可以将输出结果保存在内存中的微批处理分布式快速计算框架,可以批处理和交互式处理,支持多语言(Java, Python, Scala, R等),具有丰富的API. 其优势在于能同时实现离线和实时计算。

相关推荐
人大博士的交易之路26 分钟前
龙虎榜——20250620
大数据·数学建模·数据挖掘·程序员创富·缠中说禅·龙虎榜
hwj运维之路1 小时前
大数据系统架构实践(一):Zookeeper集群部署
大数据·zookeeper·系统架构
189228048611 小时前
NY339NY341美光固态闪存NW841NW843
大数据·数据库
DavidSoCool2 小时前
Elasticsearch 中实现推荐搜索(方案设想)
大数据·elasticsearch·搜索引擎
未来并未来2 小时前
微服务中的分布式事务
分布式·微服务·架构
lilye662 小时前
精益数据分析(108/126):媒体网站用户参与时间优化与分享行为解析
大数据·数据分析·媒体
sevevty-seven2 小时前
阿里巴巴开源的 分布式事务解决方案Seata
分布式·开源
TDengine (老段)2 小时前
使用 Prometheus 访问 TDengine ---
大数据·数据库·prometheus·时序数据库·iot·tdengine·涛思数据
大千AI助手4 小时前
饼图:数据可视化的“切蛋糕”艺术
大数据·人工智能·信息可视化·数据挖掘·数据分析·pie·饼图