Spark,配置hadoop集群1

配置运行任务的历史服务器

1.配置mapred-site.xml

在hadoop的安装目录下,打开mapred-site.xml,并在该文件里面增加如下两条配置。

eg我的是在hadoop199上

复制代码
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop100:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop100:19888</value>
</property>

添加后该文件是这样的:

2.同步配置

将此文件配置同步到其他节点中命令为:
root@hadoop100 hadoop xsync HADOOP_HOME/etc/hadoop/mapred-site.xml

3.启动历史服务器

请注意:你在配置的时候指定哪个节点是历史服务器,就在哪里启动,请不要搞错了。

对应的命令是: mapred --daemon start historyserver

4.检查历史服务器是否启动

通过jps命令来查看历史服务器是否已经成功启动了。

root@hadoop100 hadoop$ jps

出现下图这样即代表成功启动

5.查看JobHistory

方式1:直接去看所有的历史记录 ++++http://hadoop100:19888/jobhistory++++

方式2:重新启动yarn服务。再从具体的history链接进行跳转。

开启日志聚集功能

1.配置yarn-site.xml

同样也是在hadoop100内找到yarn-site.xml文件,我们添加如下的配置。

在该文件里面增加如下配置。

复制代码
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop101:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2.分发配置

和之前的配置一样,我们需要把这个更新之后的yarn-site.xml文件同步到其他的机器。这里还是使用脚本xsync。具体如下:

xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

3.重启ResourceManager和HistoryServer

进入到我们安装yarn的主机,通过命令来关闭掉yarn和historyServer,然后再重启。

root@hadoop103 hadoop-3.1.3$ sbin/stop-yarn.sh

root@hadoop103 hadoop-3.1.3$ mapred --daemon stop historyserver

启动ResourceManage和HistoryServer

start-yarn.sh

mapred --daemon start historyserver

4.测试是否运行成功

命令如下:

root@hadoop100 hadoop-3.1.3$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
查看日志:

如果一切正常,我们打开历史服务器地址http://hadoop101:19888/jobhistory 可以看到历史任务列表,如下:


点击对应的JobID,就可以进一步查看任务运行日志


然后在点击logs,就可以查看运行日志的详情了。

相关推荐
大大大大晴天6 小时前
每天认识一个组件:VictoriaLogs
大数据
学长毕设9 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监10 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云12 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy199015 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天1 天前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界1 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5551 天前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch