Apache Hadoop之历史服务器&日志聚集配置

上篇介绍绍了Apache Hadoop的分布式集群环境搭建,并测试了MapReduce分布式计算案例。但集群历史做了哪些任务,任务执行日志等信息还需要配置历史服务器和日志聚集才能更好的查看。

配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志服务器。

  1. 配置mapred-site.xml

三个节点配置一致

复制代码
<!-- 历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>hadoop01:19888</value>
</property>
  1. 启动历史服务器

    [root@hadoop01 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver
    starting historyserver, logging to /opt/hadoop-2.9.2/logs/mapred-root-historyserver-hadoop01.out

  2. 查看JobHistory

访问:http://hadoop01:19888/jobhistory

配置日志聚集

日志聚集:应用(Job)运行完成以后,将应用运行日志信息从各个task汇总上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。

  1. 配置yarn-site.xml

三个节点配置一致

复制代码
<!-- 日志聚集功能使能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
<property>
  <name>yarn.log.server.url</name>
  <value>http://hadoop01:19888/jobhistory/logs</value>
</property>
  1. 重启hadoop集群

关闭

复制代码
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/stop-yarn.sh

启动

复制代码
sbin/start-dfs.sh
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/start-yarn.sh
  1. 删除HDFS上已经存在的输出文件

    bin/hdfs dfs -rm -R /wcoutput

  2. 执行WordCount程序

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput/ /wcoutput

  3. 查看日志,如图所示

这样一来,位于hadoop02中的日志在hadoop01中也可以查看

相关推荐
今麦郎xdu_32 分钟前
【Linux系统】命令行参数和环境变量
linux·服务器·c语言·c++
还不秃顶的计科生35 分钟前
linux下conda未安装的解决方法(离线安装linux下的conda)
linux·运维·服务器
迎風吹頭髮2 小时前
Linux服务器编程实践26-TCP连接超时重连机制:超时时间计算与重连策略
服务器·网络·php
wanhengidc3 小时前
什么是站群服务器
运维·服务器·网络·游戏·智能手机
左师佑图4 小时前
Apache POI SXSSFWorkbook 报错“没有那个文件或目录”问题排查与解决方案
java·apache·excel
筑梦之路4 小时前
深入linux的审计服务auditd —— 筑梦之路
linux·运维·服务器
陈说技术4 小时前
服务器CPU达到100%解决思路
运维·服务器
yumgpkpm5 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
郝学胜-神的一滴5 小时前
深入解析Linux下的`lseek`函数:文件定位与操作的艺术
linux·运维·服务器·开发语言·c++·软件工程
CryptoPP6 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链