Hadoop

一、大数据诞生背景

1.传统数据处理架构存在问题

|----------|-------------|---------------|-------------------------------------------|
| | 数据结构类型 | 数据库类型 | 在大数据背景下会产生的问题 |
| 传统数据处理架构 | 结构化数据 | 数据库,数据仓库 | 单机处理速度慢。MPP架构存在扩展性,热点问题 |
| 传统数据处理架构 | 非结构化、半结构化数据 | NoSQL数据库、并发程序 | NoSQL数据库只负责存储,程序处理时涉及到数据移动,数据移动的网络开销大,速度慢 |

2.大数据的特征(4V特征)

  • 数据规模巨大(volume)
  • 生成和处理速度极快(velocity)
  • 数据类型多样但密度较低(variety)
  • 价值巨大但密度较低(value)

3.大数据离线与实时场景

4.大数据典型应用场景及架构改进

移动计算而非移动数据

5.大数据的编年史

6.大数据技术生态

二、大数据之HDFS

1.HDFS概念与优缺点

Hadoop分布式文件系统(Hadoop Distributed File System),2003年10月Google发表了GFS(Google File System)论文,HDFS是GFS的开源实现,HDFS是Hadoop的核心子项目(一个三个核心:HDFS、YARN、MapReduce),在开源大数据体系中,地位无可替代

HDFS组成

  • NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
  • DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。
  • Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

HDFS优点

  • 高容错、高可用、高扩展
  • 海量数据存储:典型文件大小GB~TB,百万以上文件数量,PB以上规模数据
  • 构建成本低:构建在廉价的商用服务器上即可
  • 安全可靠:提供了容错和恢复机制
  • 适合大规模离线批处理

HDFS缺点

  • 不适合低延迟数据访问
  • **不支持并发写入:**一个文件同时只能有一个写入者
  • 不适合大量小文件存储
  • 不支持文件随机修改

2.HDFS架构

3.HDFS数据存储Block-DataNode

4.HDFS元数据存储-NameNode

5.HDFS读写流程

6.HDFS安全模式

7.HDFS基本用法

相关推荐
武子康1 小时前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g2 小时前
COW、MOR、MOW
大数据·数据库·后端
武子康18 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术18 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心20 小时前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx3521 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g1 天前
Flink KeySelector
大数据·后端·flink
阿里云大数据AI技术2 天前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx3522 天前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop