hadoop的yarn - 技术栈

1.分布式的资源调度-yarn(hadoop的一个组件)

资源服务器硬件资源，如：CPU,内存,硬盘,网络等

资源调度:管控服务器硬件资源，提供更好的利用率

分布式资源调度:管控整个分布式服务器集群的全部资源，整合进行统一调度

总结就是使用yarn配合MapReduce,提高集群资源的利用率

2.yarn如何工作:

程序向YARN申请所需资源, YARN为程序分配所需资源供程序使用,明显的担起了资源调度的职责

3.yarn架构:

主从架构:ResourceManager(主)与nodemanager(从)

ResourceManager: 整个集群的资源调度者，负责协调调度各个程序所需的资源。

nodemanager: 单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用。

主节点:jps

从节点:jps

4.调度原理:服务器运行程序,运行程序所需的资源预先通知给resourcemanager,由resourcemanager通知给nodemanager进行调度,而nodemanager这边先搭建一个container(容器),把程序所需资源先占用放入container,再供给程序使用.(程序所需的资源不得突破nodemanager所给的container,container有多少程序才能用多少,不能越界)

5.yarn的辅助角色:

WebAppProxyServer(代理服务器):提供安全保障

JobHistoryServer:记录程序历史运行的信息,与收集日志,

6.MapReduce配置:

一./etc/hadoop/mapred-env.sh文件修改:

加入:

export JAVA_HOHE=/export/server/jdk

export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000

export HADOOP_MAPRED_ROOT_LOGGER=INFO, RFA

二:修改/etc/hadoop/mapred-site.xml

修改:

<name>mapreduce.framework.name</name>

<description>MapReduce的运行框架设置为yarn</description>

</property>

<name>mapreduce.jobhistory.address</name>

<description>历史服务器通讯端口为wtk:10020</description>

</property>

<name>mapreduce. jobhistory.webapp.address</name>

</property>

<name>mapreduce.jobhistory.intermediate-done-dir</name>

<value>/data/mr-history/tmp</value>

</property>

<name>mapreduce.jobhistory.done-dir</name>

<value>/data/mr-history/done</value>

</property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=SHADOOP_HOME</value>

</property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>

</property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>

</property>

7.yarn配置文件:

一:/etc/hadoop/yarn-env.sh

添加:

export JAVA_HOME=/export/server/jdk

export HADOOP_HOME=/export/server/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR-$HADOOP_HOME/etc/hadoop

export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn

export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

二:/etc/hadoop/yarn-site.xml

修改:

<name>yarn.resourcemanager.hostname</name>

<name>yarn.nodemanager.log-dirs</name>

<description>Comma-separated list of paths on the local filesystem where logs are written.</description>

</property>

<name>yarn.nodemanager.local-dirs</name>

<value>/data/nm-local</value>

<description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

<description>Shuffle service that needs to be set for Map Reduce applications.</description>

</property>

8.启动yarn

命令: 启动start-yarn.sh 关闭:stop-yarn.sh

历史服务器启动:mapred --daemon start historyserver

历史服务器关闭:mapred --daemon stop historyserver

主节点:

从节点:

9.监控页面:8088