1 Hadoop生态圈概述
Hadoop生态圈是以 HDFS（分布式存储） 和 YARN（资源调度） 为核心，围绕大数据存储、计算、管理、分析等需求发展出的一系列开源工具集合。
核心特点：
- 模块化：各组件专注解决特定问题（如HBase负责实时查询，Spark负责高速计算）
- 可扩展：支持多种计算框架（MapReduce/Spark/Flink）和存储系统（HDFS/HBase）
- 高容错：自动处理节点故障，保证数据可靠性
2 Hadoop生态核心组件
2.1 存储层
|-------|-------------|------------------------|--------------|
| 组件 | 定位 | 关键特性 | 适用场景 |
| HDFS | 分布式文件系统 | 高吞吐、顺序读写、数据分块（默认128MB） | 离线批处理（日志存储） |
| HBase | 分布式NoSQL数据库 | 低延迟随机读写、强一致性 | 实时查询（用户画像） |
| Kudu | 列式存储引擎 | 兼顾实时更新与分析查询 | 时序数据（IoT传感器） |
2.2 计算层
|-----------|---------|-------------------|-------------|
| 组件 | 计算模型 | 优势 | 典型案例 |
| MapReduce | 批处理 | 高容错、适合超大规模数据 | ETL数据清洗 |
| Spark | 内存计算 | DAG执行、比MR快10-100倍 | 机器学习（MLlib） |
| Flink | 流计算 | 低延迟（毫秒级）、精确一次语义 | 实时风控 |
| Tez | DAG优化引擎 | 减少中间数据落盘，提升Hive性能 | 交互式查询 |
2.3 资源管理层
- YARN：统一资源调度系统，可同时运行MR/Spark/Flink等计算框架
- ZooKeeper：分布式协调服务，保障集群一致性（如HBase依赖ZK）
2.4 数据仓库与SQL
|--------|-----------------------------|------------|
| 组件 | 特点 | 查询引擎 |
| Hive | 将SQL转为MapReduce/Tez/Spark作业 | 批处理（分钟级延迟） |
| Impala | 内存计算，免MR启动开销 | 交互式查询（秒级） |
| Presto | 多数据源联邦查询（HDFS/MySQL等） | 即席分析 |
2.5 数据采集与传输
- Flume：高可靠日志收集（如服务器日志 → HDFS）
- Kafka：分布式消息队列（实时数据缓冲）
- Sqoop：关系数据库 ↔ HDFS双向数据传输
2.6 机器学习与高级分析
- Mahout：基于MapReduce的机器学习库
- Spark MLlib：支持分类、回归、推荐等算法
- H2O：深度学习集成
3 Hadoop生态技术选型指南
|----------|--------------------------|---------------|
| 需求 | 推荐组件 | 原因 |
| 海量日志存储 | HDFS + Parquet | 高压缩比，列式存储优化查询 |
| 实时用户行为分析 | Kafka + Flink | 低延迟流处理 |
| 交互式报表 | Hive on Spark + Superset | 平衡速度与成本 |
| 高并发点查询 | HBase | 毫秒级响应 |
4 Hadoop生态发展趋势
云原生转型：
- 存储计算分离（HDFS → S3/OBS）
- 容器化部署（YARN → Kubernetes）
实时化演进：- 批流统一（Spark Structured Streaming/Flink）
AI融合：
- 大数据+机器学习Pipeline（TensorFlow on YARN）