hadoop_mapred-site.xml

hadoop3.2.3的高可用集群mapred-site.xml配置实例

xml 复制代码
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>
		<!-- 设置MapReduce作业使用的框架名称为YARN -->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
  </property>

	<property>
		<!-- 设置Map任务的最大内存使用量,单位为MB -->
		<name>mapreduce.map.memory.mb</name>
		<value>9216</value>
	</property>
	
	<property>
		<!-- 设置Reduce任务的最大内存使用量,单位为MB -->
		<name>mapreduce.reduce.memory.mb</name>
		<value>18432</value>
	</property>
	
	<property>
		<!-- 设置Map任务的Java虚拟机选项,此处设置最大堆大小为4096MB -->
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx4096m</value>
    </property>
	
    <property>
		<!-- 配置Reduce任务的Java虚拟机参数,设置最大堆内存为12288MB -->
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx12288m</value>
    </property>

	<property>
		<!-- 指定MapReduce作业历史服务器的通信地址 -->
		<name>mapreduce.jobhistory.address</name>
		<value>datanode-7:10020</value>
	</property>
	
	<property>
		<!-- 设置MapReduce作业历史服务器的Web应用程序地址 -->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>datanode-7:19888</value>
	</property>
	
	<property>
		<!-- 配置第三方框架使用YARN的日志聚集功能时的日志服务器URL -->
		<name>yarn.log.server.url</name>         
		<value>http://datanode-7:19888/jobhistory/logs</value> 
	</property>
	
	<property>
		<!-- 设置MapReduce应用程序主(Application Master)的环境变量 -->
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   	 </property>
	 
   	 <property>
		<!-- 设置Map任务的环境变量 -->
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
   	<property>
		<!-- 设置Reduce任务的环境变量 -->
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
	<property>
		<!-- 配置MapReduce应用程序的类路径,包含Hadoop的各种库和依赖 -->
		<name>mapreduce.application.classpath</name>
		<value>/home/hadoop/hadoop-3.2.3/etc/hadoop,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/*
	   </value>
 	</property>

</configuration>
相关推荐
JessieZeng aaa4 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
Yz987610 小时前
hive复杂数据类型Array & Map & Struct & 炸裂函数explode
大数据·数据库·数据仓库·hive·hadoop·数据库开发·big data
EDG Zmjjkk12 小时前
Hive 函数(实例操作版2)
数据仓库·hive·hadoop
那一抹阳光多灿烂1 天前
Spark核心组件解析:Executor、RDD与缓存优化
hadoop·spark
Yz98761 天前
Hive分桶超详细!!!
大数据·数据仓库·hive·hadoop·hdfs·数据库开发·big data
Francek Chen1 天前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
出发行进1 天前
Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录
大数据·linux·hadoop·flink·虚拟机
闲人编程1 天前
Hadoop 使用过程中 15 个常见问题的详细描述、解决方案
大数据·hadoop·eclipse·解决方案·yarn·配置文件
橘子海全栈攻城狮1 天前
【源码+文档+调试讲解】基于Hadoop实现的豆瓣电子图书推荐系统的设计与实现
大数据·数据库·hadoop·spring boot·分布式·后端
二进制_博客1 天前
hadoop集群搭建
java·大数据·hadoop