Hadoop 技术生态体系

广义上的Hadoop是指其整个技术生态体系,包括但不限于以下组件:

这里选择几个比较重要的组件简单介绍

一、HBase:分布式数据库

HBase是Hadoop的数据库,HBase是一个分布式的、面向列的开源非关系型数据库,它不同于一般的关系数据库,是一个适合非结构化数据存储的数据库。HBase利用Hadoop的HDFS作为其文件存储系统,利用ZooKeeper作为其协调工具,非常适合用来进行大数据的实时读写。

HBase表是一个稀疏多维表,表中的数据是未经解释的字符串,没有数据类型,每一行都有一个行键,表被分组成许多列族集合,列族支持动态扩展,可以很方便地添加一个列族或列,无须事先预定列的数量和类型,所有列都是以字符串的形式存储。

二、Hive:数据仓库工具

Hive是一个基于Hadoop的强大的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

三、Kafka:分布式发布订阅消息系统

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,Kafka是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

四、ZooKeeper:分布式协调服务

ZooKeeper作为一个高可用的分布式服务框架,主要用来解决分布式集群中应用系统的一致性问题,它可以减轻分布式应用程序所承担的协调任务,在Hadoop、HBase、Kafka等分布式系统中,ZooKeeper都是作为核心组件使用的。其典型应用场景有:实现HDFS的NameNode高可用HA;实现HBase的HMaster高可用HA. ZooKeeper的部署节点一般为奇数个。

五、Spark:内存分布式计算框架

Spark是一个可以将输出结果保存在内存中的微批处理分布式快速计算框架,可以批处理和交互式处理,支持多语言(Java, Python, Scala, R等),具有丰富的API. 其优势在于能同时实现离线和实时计算。

相关推荐
AAA修煤气灶刘哥7 小时前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云大数据AI技术11 小时前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx35215 小时前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
Aomnitrix19 小时前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐19 小时前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询19 小时前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams19 小时前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
T062051420 小时前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔20 小时前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗