hadoop_core-site.xml配置实例

hadoop3.2.3的高可用集群core-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
	
	<property>
		<!--Hadoop文件系统的默认URI,这里的默认访问地址是starcluster -->
		<name>fs.defaultFS</name>
		<value>hdfs://starcluster</value>
    </property>
	
	<property>
		<!--Hadoop临时文件的存储目录 -->
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/tmp/hadoop/</value>
	</property>
	
	<property>
		<!--设置代理用户(root用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	
	<property>
		<!--设置HDFS垃圾回收机制,文件将在垃圾桶中保留1440分钟后被永久删除 -->
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>

	<property>
		<!--设置HDFS垃圾回收机制,圾桶的检查点间隔是120分钟 -->
		<name>fs.trash.checkpoint.interval</name>
		<value>120</value>
	</property>
	
	<property>
		<!--设置ZooKeeper集群的地址和端口,用于Hadoop的高可用性配置 -->
		<name>ha.zookeeper.quorum</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!--用于设置代理用户(hadoop用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--允许任何主机上的root用户通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	
	<property>
		<!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--指定Hadoop支持的压缩编解码器列表 -->
		<name>io.compression.codecs</name>
		<value>org.apache.hadoop.io.compress.GzipCodec,
			 org.apache.hadoop.io.compress.DefaultCodec,
			 org.apache.hadoop.io.compress.BZip2Codec,
			 org.apache.hadoop.io.compress.SnappyCodec,
			 com.hadoop.compression.lzo.LzoCodec,
			 com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	
	<property>
		<!--是否使用Snappy的本地库(native library)来进行压缩和解压缩操作 -->
		<name>io.compression.codec.snappy.native</name>
		<value>true</value>
	</property>
	
	<property>
		<!--指定LZO压缩编解码器的Java类名 -->
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
	
</configuration>
相关推荐
TDengine (老段)6 分钟前
杨凌美畅用 TDengine 时序数据库,支撑 500 条产线 2 年历史数据追溯
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
青云交12 分钟前
Java 大视界 -- Java 大数据机器学习模型在游戏用户行为分析与游戏平衡优化中的应用
java·大数据·机器学习·数据存储·模型构建·游戏用户行为分析·游戏平衡优化
RE-19013 小时前
《深入浅出统计学》学习笔记(一)
大数据·数学·概率论·统计学·数理统计·知识笔记·深入浅出
赵部长风向标6 小时前
在本地生活赛道,如何打造属于自己的业务护城河?
大数据
青云交6 小时前
Java 大视界 -- Java 大数据在智能教育学习社区互动模式创新与用户活跃度提升中的应用(426)
java·大数据·学习·flink 实时计算·智能教育社区·互动模式创新·用户活跃度
snowful world9 小时前
flink实验三:实时数据流处理(踩坑记录)
大数据·flink
B站_计算机毕业设计之家9 小时前
基于大数据的短视频数据分析系统 Spark哔哩哔哩视频数据分析可视化系统 Hadoop大数据技术 情感分析 舆情分析 爬虫 推荐系统 协同过滤推荐算法 ✅
大数据·hadoop·爬虫·spark·音视频·短视频·1024程序员节
面向星辰11 小时前
day07 spark sql
大数据·sql·spark
北邮-吴怀玉11 小时前
2.2.2.3 大数据方法论与实践指南-开源服务跟踪工具对比
大数据·开源
_小黑_11 小时前
SQL SERVER 解析XML
xml