Hadoop 技术生态体系

广义上的Hadoop是指其整个技术生态体系,包括但不限于以下组件:

这里选择几个比较重要的组件简单介绍

一、HBase:分布式数据库

HBase是Hadoop的数据库,HBase是一个分布式的、面向列的开源非关系型数据库,它不同于一般的关系数据库,是一个适合非结构化数据存储的数据库。HBase利用Hadoop的HDFS作为其文件存储系统,利用ZooKeeper作为其协调工具,非常适合用来进行大数据的实时读写。

HBase表是一个稀疏多维表,表中的数据是未经解释的字符串,没有数据类型,每一行都有一个行键,表被分组成许多列族集合,列族支持动态扩展,可以很方便地添加一个列族或列,无须事先预定列的数量和类型,所有列都是以字符串的形式存储。

二、Hive:数据仓库工具

Hive是一个基于Hadoop的强大的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

三、Kafka:分布式发布订阅消息系统

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,Kafka是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

四、ZooKeeper:分布式协调服务

ZooKeeper作为一个高可用的分布式服务框架,主要用来解决分布式集群中应用系统的一致性问题,它可以减轻分布式应用程序所承担的协调任务,在Hadoop、HBase、Kafka等分布式系统中,ZooKeeper都是作为核心组件使用的。其典型应用场景有:实现HDFS的NameNode高可用HA;实现HBase的HMaster高可用HA. ZooKeeper的部署节点一般为奇数个。

五、Spark:内存分布式计算框架

Spark是一个可以将输出结果保存在内存中的微批处理分布式快速计算框架,可以批处理和交互式处理,支持多语言(Java, Python, Scala, R等),具有丰富的API. 其优势在于能同时实现离线和实时计算。

相关推荐
500841 小时前
昇腾 CANN 的五层架构,到底分了哪五层
java·人工智能·分布式·架构·ocr·wpf
song5011 小时前
Ascend C 算子开发:从入门到上手
c语言·开发语言·图像处理·人工智能·分布式·flutter·交互
小钻风33663 小时前
ZooKeeper + Kafka 集群搭建实战记录
分布式·zookeeper·kafka
SmartBrain3 小时前
AI全栈开发(SDD):慢病管理系统工程级设计
java·大数据·开发语言·人工智能·架构·aigc
zandy10113 小时前
2026 BI平台与数据中台融合架构实践:从数据烟囱到统一智能数据层
大数据·架构·spark
星轨zb5 小时前
JUC 到 Redis 分布式锁:一次关于高并发的性能压测实验
java·redis·分布式·jmeter
金智维科技官方5 小时前
圆桌对话:从流程自动化到智能流程,AI落地的下一站在哪里?
大数据·人工智能·ai·自动化·智能体
心中有国也有家6 小时前
PaddlePaddle 适配 NPU 的技术全解析——从算子接入到端到端性能优化
人工智能·分布式·算法·性能优化·架构·paddlepaddle
Volunteer Technology6 小时前
集群基础环境搭建(二)
大数据·flink·apache
郑小憨6 小时前
zookeeper内部原理 (进阶介绍 三)
大数据·分布式·zookeeper