学习大数据DAY37 hadoop 的安装和配置

目录

[hadoop 大数据平台](#hadoop 大数据平台)

[Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:](#Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:)

[Hadoop 的分布式核心组件是 MapReduce 编程模型:](#Hadoop 的分布式核心组件是 MapReduce 编程模型:)

[Hadoop 大数据平台采用组件方式搭建。](#Hadoop 大数据平台采用组件方式搭建。)

[Hadoop 组件](#Hadoop 组件)

[HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode](#HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode)

组成

[Yarn 资源调度负责硬件资源管理,主要由:ResourceManager,NodeManager,ApplicationMaster 组成](#Yarn 资源调度负责硬件资源管理,主要由:ResourceManager,NodeManager,ApplicationMaster 组成)

[平台搭建-ssh 免密](#平台搭建-ssh 免密)

[Hadoop 平台搭建-软件安装](#Hadoop 平台搭建-软件安装)

上机练习

---

hadoop 大数据平台

1)Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构
2)主要解决，海量数据的存储和海量数据的分析计算问题
3)广义上来说，Hadoop 通常是指一个更广泛的概念-Hadoop 生态圈

Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:

HDFS 将数据分割成多个数据块（block），这些数据块分散存储在集群中的不
同节点上。每个数据块会有多个副本，通常默认是 3 个副本.采用分布式存储在
不同的节点上，提高了数据的可靠性和容错性。

Hadoop 的分布式核心组件是 MapReduce 编程模型:

在 MapReduce 任务中，数据被切分为多个任务，每个任务由或多个节点并行。
每个节点负责将输入数据映射为键-值对生成中间结果。最后，中间结果按照键
的排序进行合并和归并

Hadoop 大数据平台采用组件方式搭建。

1.灵活性:根据不同业务场景选用不同的功能组件,以满足多样化需求.
2.扩展性:方便添加新的组件,以适应技术发展和业务增长
3.优化资源:针对不同组件进行资源的优化配置,提高资源利用效率 4.分工明确:各个组件专注特定功能领域,使开发和维护更加高效.

Hadoop 组件

HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode

组成

NameNode (nn): 存储文件的元数据，如文件名，文件目录结构，文件属性 (生
成时间、副本数、文件权限)，以及每个文件的块列表和块所在的 DataNode 等.
DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验
SecondaryNameNode(2nn): 每隔一段时间对 NameNode 元数据进行备份

Yarn资源调度负责硬件资源管理**,主要****由:ResourceManager,NodeManager,ApplicationMaster 组成**

ResourceManager (资源管理器):YARN 集群中的中心调度器和资源管理器。
负责整个集群的资源分配和调度 监控集群中的计算资源任务的运行状态
NodeManager (节点管理器):每个计算节点上运行的代理程序负责管理和监 控节点上的资源和任务。接收来自 RM 的任务调度请求;启动、停止和监控任务的
执行;发送节点的状态和可用资源报告
ApplicationMaster(应用程序管理器)：每个应用程序在 YARN 中都有一个对
应的 AM.AppMaster 负责协调和管理应用程序的执行。它与 RM 交互申请资源并监
任务的执行。它还负责任务的划分和调度、容错和恢复、进度跟踪等。

hadoop 大数据平台-部署策略

hadoop 大数据平台-部署步骤 Hadoop

平台搭建-ssh 免密

Hadoop 平台搭建-软件安装

#1.jdk 安装
#2.软件环境搭建
#3.软件配置文件设置
cd $HADOOP_HOME/etc/hadoop/
#3.1. core-site.xml 文件配置
#3.2. hdfs-site.xml 文件配置
#3.3. yarn-site.xml 文件配置
#3.4. mapred-site.xml 文件配置
#3.5. worker 文件配置
#4.启停脚本
#5.同步脚本
通过网盘分享的文件：hadoop配置
链接: https://pan.baidu.com/s/11Wn071rIgcsBhjC1vqMDUQ 提取码: i325

上机练习

查看启停脚本的状态

查看部署成功后的网页 192.168.200.100:19888

查看部署成功后的 192.168.200.100：9870