000003 - Hadoop集群配置

Hadoop集群配置

  • [1. 背景](#1. 背景)
  • [2. 实践](#2. 实践)
    • [2.1 集群规划](#2.1 集群规划)
    • [2.2 配置文件说明](#2.2 配置文件说明)
    • [2.3 配置](#2.3 配置)

1. 背景

000002 - Hadoop环境安装,我们已经执行完了如下步骤。接下来就是将不同服务器上的Hadoop配置为一个整体的集群。

  1. 准备三台Linux服务器,服务器之间相互配置免密ssh登陆
  2. 在其中一台服务器上安装JDK
  3. 在其中一台服务器上安装HADOOP
  4. 本地运行模式-在一台服务器上运行HADOOP
  5. 将JDK和HADOOP分发给其他2台服务器
  6. 集群模式运行HADOOP

2. 实践

2.1 集群规划

组件\服务器 node1 node2 node3
HDFS DateNode + NameNode DateNode DateNode + SecondaryNameNode
YARN NodeManager NodeManager + ResourceManager NodeManager

⚠️ NameNode , SecondaryNameNode, ResourceManager互互斥,三者的任意组合都不能配置在一台服务器上。

2.2 配置文件说明

Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认

配置值时,才需要修改自定义配置文件,更改相应属性值。

默认配置文件:

要获取的默认文件 文件存放在Hadoop 的 jar 包中的位置
core-default.xml hadoop-common-3.1.3.jar/core-default.xml
hdfs-default.xml hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件:

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。

2.3 配置

参考这里

相关推荐
欧阳方超37 分钟前
Spark(1):不依赖Hadoop搭建Spark环境
大数据·hadoop·spark
linweidong1 小时前
解锁 Ray 在 Kubernetes 上的弹性伸缩:打造高效、稳定的分布式作业
分布式·容器·kubernetes·ray·keda·autoscaling·ray推理
u0104058361 小时前
淘客返利app的分布式追踪系统:基于Jaeger的全链路性能分析
分布式
过尽漉雪千山1 小时前
Flink1.17.0集群的搭建
java·大数据·linux·flink·centos
金融小师妹2 小时前
多因子AI回归揭示通胀-就业背离,黄金价格稳态区间的时序建模
大数据·人工智能·算法
马走日mazouri2 小时前
深入理解MySQL主从架构中的Seconds_Behind_Master指标
数据库·分布式·mysql·系统架构·数据库架构
虫小宝2 小时前
淘宝客app的API网关设计:认证授权与流量控制策略
java·分布式·架构
孟意昶2 小时前
Spark专题-第一部分:Spark 核心概述(1)-Spark 是什么?
大数据·分布式·spark
u0104058365 小时前
京东返利app的分布式ID生成策略:雪花算法在订单系统中的实践
分布式·算法
AcrelZYL5 小时前
工商业屋顶分布式光伏监控系统助力园区企业错峰有序用电
分布式·分布式光伏·屋顶分布式光伏·工商业分布式光伏监控