hadoop_mapred-site.xml

hadoop3.2.3的高可用集群mapred-site.xml配置实例

xml 复制代码
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>
		<!-- 设置MapReduce作业使用的框架名称为YARN -->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
  </property>

	<property>
		<!-- 设置Map任务的最大内存使用量,单位为MB -->
		<name>mapreduce.map.memory.mb</name>
		<value>9216</value>
	</property>
	
	<property>
		<!-- 设置Reduce任务的最大内存使用量,单位为MB -->
		<name>mapreduce.reduce.memory.mb</name>
		<value>18432</value>
	</property>
	
	<property>
		<!-- 设置Map任务的Java虚拟机选项,此处设置最大堆大小为4096MB -->
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx4096m</value>
    </property>
	
    <property>
		<!-- 配置Reduce任务的Java虚拟机参数,设置最大堆内存为12288MB -->
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx12288m</value>
    </property>

	<property>
		<!-- 指定MapReduce作业历史服务器的通信地址 -->
		<name>mapreduce.jobhistory.address</name>
		<value>datanode-7:10020</value>
	</property>
	
	<property>
		<!-- 设置MapReduce作业历史服务器的Web应用程序地址 -->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>datanode-7:19888</value>
	</property>
	
	<property>
		<!-- 配置第三方框架使用YARN的日志聚集功能时的日志服务器URL -->
		<name>yarn.log.server.url</name>         
		<value>http://datanode-7:19888/jobhistory/logs</value> 
	</property>
	
	<property>
		<!-- 设置MapReduce应用程序主(Application Master)的环境变量 -->
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   	 </property>
	 
   	 <property>
		<!-- 设置Map任务的环境变量 -->
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
   	<property>
		<!-- 设置Reduce任务的环境变量 -->
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
	<property>
		<!-- 配置MapReduce应用程序的类路径,包含Hadoop的各种库和依赖 -->
		<name>mapreduce.application.classpath</name>
		<value>/home/hadoop/hadoop-3.2.3/etc/hadoop,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/*
	   </value>
 	</property>

</configuration>
相关推荐
子非鱼92110 分钟前
【Ajax】原生Ajax与jQuery中的Ajax
xml·ajax·node.js·jquery
来一杯龙舌兰2 小时前
【MongoDB】MongoDB的聚合(Aggregate、Map Reduce)与管道(Pipline) 及索引详解(附详细案例)
数据库·mongodb·mapreduce·索引·aggregate·pipline
我的K84097 小时前
Hive中自定义函数的使用
数据仓库·hive·hadoop
sunxunyong7 小时前
hive 异常任务中间数据清理
数据仓库·hive·hadoop
天天进步20157 小时前
X2JS: XML与JSON的完美转换工具
xml·json
法迪21 小时前
解读JobScheduler的jobs.xml
xml·功耗
残花月伴21 小时前
配置文件格式(xml、properties、yml/yaml)
xml·java
zhangxiang_ouc21 小时前
Caché/IRIS file2Xml 一个将文件转换成Studio导出的xml格式的工具
xml
梦醒沉醉1 天前
Hadoop简介及单点伪分布式安装
hadoop