hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)

  1. 配置了三台服务器,hadoop22, hadoop23, hadoop24

  2. hadoop文件路径: /opt/module/hadoop-3.3.4

  3. hadoop22机器配置历史服务器的配置文件:

文件路径:/opt/module/hadoop-3.3.4/etc/hadoop

文件名称:mapred-size.xml

新增历史服务器配置,并修改为自己的地址

bash 复制代码
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
	
		<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop22:10020</value>
	</property>

	<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop22:19888</value>
	</property>

</configuration>
  1. 将此文件分发到其他机器:(或者手动复制过去也行,每台机器的这个文件都需要改下)
bash 复制代码
# 这个命令是我相关文章的一个脚本,如果没有这个脚本,是运行不了的,
# 可以查看之前文章,添加脚本,也可以手动复制,修改, 也可以centos 的scp 命令发送过去
# 先看注释
# 先看注释
# 先看注释

xsync mapred-size.xml
  1. 重新启动yarn, hdfs集群

  2. 启动历史服务命令:

bash 复制代码
# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 运行:
bin/mapred --daemon start historyserver

# jps 查看
jps
  1. 测试:

运行命令:

bash 复制代码
# 
hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input

# 统计
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output
  1. 查看控制台:

http://192.168.164.23:8088/cluster

点击history 即可查看:

  1. 停止历史服务器:
bash 复制代码
# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 停止:
bin/mapred --daemon stop historyserver
相关推荐
智数研析社8 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~8 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
ajassi20008 小时前
linux C 语言开发 (八) 进程基础
linux·运维·服务器
寻星探路9 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院10 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
倔强的石头10611 小时前
【Linux指南】Makefile入门:从概念到基础语法
linux·运维·服务器
ajassi200011 小时前
linux C 语言开发 (七) 文件 IO 和标准 IO
linux·运维·服务器
一只游鱼11 小时前
Zookeeper介绍与部署(Linux)
linux·运维·服务器·zookeeper
孟意昶11 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
wheeldown12 小时前
【Linux】 存储分级的秘密
linux·运维·服务器