【Hadoop】- MapReduce & YARN的部署[8]

目录

一、部署说明

二、集群规划

三、MapReduce配置文件

四、YARN配置文件

五、分发配置文件

六、集群启动命令

[七、查看YARN的WEB UI 页面](#七、查看YARN的WEB UI 页面)


一、部署说明

  • Hadoop HDFS分布式文件系统,我们会启动:
    • NameNode进程作为管理节点
    • DataNode进程作为工作节点
    • SecondaryNamenode作为辅助
  • 同理,Hadoop YARN分布式资源调度,会启动:
    • ResourceManager进程作为管理节点
    • NodeManager进程作为工作节点
    • ProxyServer、JobHistoryServer这两个辅助节点
  • MapReduce呢?
    • MapReduce运行在YARN容器内,无需启动独立进程

二、集群规划

有3台服务器,其中node1配置较高

集群规划如下:

|--------|----------------------------------------------------------|
| 主机 | 角色 |
| node1 | NodeManager ResourceManager ProxyServer JobHistoryServer |
| node2 | NodeManager |
| node3 | NodeManager |

三、MapReduce配置文件

在 $HADOOP_HOME/etc/hadoop文件夹内,修改:

1、mapred-env.sh文件,添加如下环境变量

复制代码
# 设置JDK路径
export JAVA_HOME=/export/server/jdk
# 设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
# 设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

2、mapred-site.xml文件,添加如下配置信息

复制代码
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>MapReduce的运行框架设置为YARN</description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description>历史服务器通讯端口为 node1:10020</description>
  </property>

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description>历史服务器web端口为node1的19888</description>
  </property>

  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description>历史信息在HDFS的记录临时路径</description>
  </property>

  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description>历史信息在HDFS的记录路径</description>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
  </property>

  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
  </property>

  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
  </property>

四、YARN配置文件

在 $HADOOP_HOME/etc/hadoop 文件夹内,修改:

  • yarn-env.sh文件,添加如下4行环境变量内容:

    设置JDK路径的环境变量

    export JAVA_HOME=/export/server/jdk

    设置 HADOOP_HOME的环境变量

    export HADOOP_HOME=/export/server/hadoop

    设置配置文件路径的环境变量

    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

    设置日志文件路径的环境变量

    expOrt HADOOP_LOG_DIR=$HADOOP_HOME/logs

  • yarn-site.xml文件,添加一下内容:

    复制代码
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>node1</value>
      <description>ResourceManager设置在nodel节点</description>
    </property>
    
    <property>
      <name>yarn.nodemanager.local-dirs</name>
      <value>/data/nm-local</value>
      <description>NodeManager中间数据本地存储路径</description>
    </property>
    
    
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/data/nm-log</value>
      <description>NodeManager数据日志本地存储路径</description>
    </property>
    
    
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
      <description>为MapReduce程序开启Shuffle服务</description>
    </property>
    
    <property>
      <name>yarn.log.server.url</name>
      <value>http://node1:19888/jobhistory/logs</value>
      <description>历史服务器URL</description>
    </property>
    
    <property>
      <name>yarn.web-proxy.address</name>
      <value>node1:8089</value>
      <description>代理服务器主机和端口</description>
    </property>
    
    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
      <description>开启日志聚合</description>
    </property>
    
    <property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/tmp/logs</value>
      <description>程序日志HDFS的存储路径</description>
    </property>
    
    <property>
      <name>varn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
      <description>选择公平调度器</description>
    </property>

五、分发配置文件

MapReduce和YARN的配置文件修改好后,需要分发到其他的服务器节点中。

复制代码
 scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
 scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/

分发完成配置文件,就可以启动YARN的相关进程啦。

六、集群启动命令

  • 一键启动YARN集群:$HADOOP_HOME/sbin/start-yarn.sh
  • 一键停止YARN集群:$HADOOP_HOME/sbin/stop-yarn.sh
  • 单独启动或停止进程
    • yarn --daemon start | stop resourcemaneger | resourcemaneger | proxyserver
    • 可控制resourcemaneger 、resourcemaneger 、proxyserver三种进程
  • 历史服务器启动和停止
    • $HADOOP_HOME/bin/mapred --daemon start | stop historyserver

七、查看YARN的WEB UI 页面

打开http://node1:8088即可查看YARN集群的监控页面

相关推荐
拓端研究室43 分钟前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
武子康1 小时前
大数据-30 ZooKeeper Java-API 监听节点 创建、删除节点
大数据·后端·zookeeper
王小王-1231 小时前
基于Hadoop的餐饮大数据分析系统的设计与实现
hive·hadoop·flask·sqoop·pyecharts·hadoop餐饮大数据分析·hadoop美食数据分析
小手WA凉1 小时前
Hadoop之MapReduce
大数据·mapreduce
AgeClub2 小时前
服务600+养老社区,Rendever如何通过“VR+养老”缓解老年孤独?
大数据·人工智能
SeaTunnel3 小时前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
时序数据说3 小时前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
大数据CLUB5 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
格调UI成品5 小时前
预警系统安全体系构建:数据加密、权限分级与误报过滤方案
大数据·运维·网络·数据库·安全·预警
reddingtons8 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign