目录
[hadoop 大数据平台](#hadoop 大数据平台)
[Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:](#Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:)
[Hadoop 的分布式核心组件是 MapReduce 编程模型:](#Hadoop 的分布式核心组件是 MapReduce 编程模型:)
[Hadoop 大数据平台采用组件方式搭建。](#Hadoop 大数据平台采用组件方式搭建。)
[Hadoop 组件](#Hadoop 组件)
[HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode](#HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode)
[Yarn 资源调度负责硬件资源管理,主要由:ResourceManager,NodeManager,ApplicationMaster 组成](#Yarn 资源调度负责硬件资源管理,主要由:ResourceManager,NodeManager,ApplicationMaster 组成)
[平台搭建-ssh 免密](#平台搭建-ssh 免密)
[Hadoop 平台搭建-软件安装](#Hadoop 平台搭建-软件安装)
hadoop 大数据平台
1)Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构
2)主要解决，海量数据的存储和海量数据的分析计算问题
3)广义上来说，Hadoop 通常是指一个更广泛的概念-Hadoop 生态圈
Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:
HDFS 将数据分割成多个数据块（block），这些数据块分散存储在集群中的不
同节点上。每个数据块会有多个副本，通常默认是 3 个副本.采用分布式存储在
不同的节点上，提高了数据的可靠性和容错性。
Hadoop 的分布式核心组件是 MapReduce 编程模型:
在 MapReduce 任务中，数据被切分为多个任务，每个任务由或多个节点并行。
每个节点负责将输入数据映射为键-值对生成中间结果。最后，中间结果按照键
的排序进行合并和归并
Hadoop 大数据平台采用组件方式搭建。
1.灵活性:根据不同业务场景选用不同的功能组件,以满足多样化需求.
2.扩展性:方便添加新的组件,以适应技术发展和业务增长
3.优化资源:针对不同组件进行资源的优化配置,提高资源利用效率 4.分工明确:各个组件专注特定功能领域,使开发和维护更加高效.
Hadoop 组件
HDFS 组件用于存储数据,主要由 NameNode,DataNode,SecondaryNameNode
组成
NameNode (nn): 存储文件的元数据，如文件名，文件目录结构，文件属性 (生
成时间、副本数、文件权限)，以及每个文件的块列表和块所在的 DataNode 等.
DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验
SecondaryNameNode(2nn): 每隔一段时间对 NameNode 元数据进行备份
Yarn资源调度负责硬件资源管理**,主要****由:ResourceManager,NodeManager,ApplicationMaster 组成**
ResourceManager (资源管理器):YARN 集群中的中心调度器和资源管理器。
负责整个集群的资源分配和调度 监控集群中的计算资源任务的运行状态
NodeManager (节点管理器):每个计算节点上运行的代理程序负责管理和监 控节点上的资源和任务。接收来自 RM 的任务调度请求;启动、停止和监控任务的
执行;发送节点的状态和可用资源报告
ApplicationMaster(应用程序管理器)：每个应用程序在 YARN 中都有一个对
应的 AM.AppMaster 负责协调和管理应用程序的执行。它与 RM 交互申请资源并监
任务的执行。它还负责任务的划分和调度、容错和恢复、进度跟踪等。
hadoop 大数据平台-部署策略
hadoop 大数据平台-部署步骤 Hadoop
平台搭建-ssh 免密
Hadoop 平台搭建-软件安装
#1.jdk 安装
#2.软件环境搭建
#3.软件配置文件设置
cd $HADOOP_HOME/etc/hadoop/
#3.1. core-site.xml 文件配置
#3.2. hdfs-site.xml 文件配置
#3.3. yarn-site.xml 文件配置
#3.4. mapred-site.xml 文件配置
#3.5. worker 文件配置
#4.启停脚本
#5.同步脚本
通过网盘分享的文件：hadoop配置
链接: https://pan.baidu.com/s/11Wn071rIgcsBhjC1vqMDUQ 提取码: i325
上机练习
查看启停脚本的状态
查看部署成功后的网页 192.168.200.100:19888
查看部署成功后的 192.168.200.100：9870
