hadoop_core-site.xml配置实例

hadoop3.2.3的高可用集群core-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
	
	<property>
		<!--Hadoop文件系统的默认URI,这里的默认访问地址是starcluster -->
		<name>fs.defaultFS</name>
		<value>hdfs://starcluster</value>
    </property>
	
	<property>
		<!--Hadoop临时文件的存储目录 -->
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/tmp/hadoop/</value>
	</property>
	
	<property>
		<!--设置代理用户(root用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	
	<property>
		<!--设置HDFS垃圾回收机制,文件将在垃圾桶中保留1440分钟后被永久删除 -->
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>

	<property>
		<!--设置HDFS垃圾回收机制,圾桶的检查点间隔是120分钟 -->
		<name>fs.trash.checkpoint.interval</name>
		<value>120</value>
	</property>
	
	<property>
		<!--设置ZooKeeper集群的地址和端口,用于Hadoop的高可用性配置 -->
		<name>ha.zookeeper.quorum</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!--用于设置代理用户(hadoop用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--允许任何主机上的root用户通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	
	<property>
		<!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--指定Hadoop支持的压缩编解码器列表 -->
		<name>io.compression.codecs</name>
		<value>org.apache.hadoop.io.compress.GzipCodec,
			 org.apache.hadoop.io.compress.DefaultCodec,
			 org.apache.hadoop.io.compress.BZip2Codec,
			 org.apache.hadoop.io.compress.SnappyCodec,
			 com.hadoop.compression.lzo.LzoCodec,
			 com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	
	<property>
		<!--是否使用Snappy的本地库(native library)来进行压缩和解压缩操作 -->
		<name>io.compression.codec.snappy.native</name>
		<value>true</value>
	</property>
	
	<property>
		<!--指定LZO压缩编解码器的Java类名 -->
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
	
</configuration>
相关推荐
阿里云大数据AI技术12 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35216 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康20 小时前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术1 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟2 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工2 天前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5