hadoop_core-site.xml配置实例

hadoop3.2.3的高可用集群core-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
	
	<property>
		<!--Hadoop文件系统的默认URI,这里的默认访问地址是starcluster -->
		<name>fs.defaultFS</name>
		<value>hdfs://starcluster</value>
    </property>
	
	<property>
		<!--Hadoop临时文件的存储目录 -->
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/tmp/hadoop/</value>
	</property>
	
	<property>
		<!--设置代理用户(root用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	
	<property>
		<!--设置HDFS垃圾回收机制,文件将在垃圾桶中保留1440分钟后被永久删除 -->
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>

	<property>
		<!--设置HDFS垃圾回收机制,圾桶的检查点间隔是120分钟 -->
		<name>fs.trash.checkpoint.interval</name>
		<value>120</value>
	</property>
	
	<property>
		<!--设置ZooKeeper集群的地址和端口,用于Hadoop的高可用性配置 -->
		<name>ha.zookeeper.quorum</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!--用于设置代理用户(hadoop用户)可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--允许任何主机上的root用户通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	
	<property>
		<!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--指定Hadoop支持的压缩编解码器列表 -->
		<name>io.compression.codecs</name>
		<value>org.apache.hadoop.io.compress.GzipCodec,
			 org.apache.hadoop.io.compress.DefaultCodec,
			 org.apache.hadoop.io.compress.BZip2Codec,
			 org.apache.hadoop.io.compress.SnappyCodec,
			 com.hadoop.compression.lzo.LzoCodec,
			 com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	
	<property>
		<!--是否使用Snappy的本地库(native library)来进行压缩和解压缩操作 -->
		<name>io.compression.codec.snappy.native</name>
		<value>true</value>
	</property>
	
	<property>
		<!--指定LZO压缩编解码器的Java类名 -->
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
	
</configuration>
相关推荐
GIOTTO情37 分钟前
媒介宣发的技术革命:Infoseek如何用AI重构企业传播全链路
大数据·人工智能·重构
ApacheSeaTunnel2 小时前
新兴数据湖仓手册·从分层架构到数据湖仓架构(2025):数据仓库分层的概念与设计
大数据·数据仓库·开源·数据湖·dataops·白鲸开源·底层技术
落雪财神意2 小时前
股指10月想法
大数据·人工智能·金融·区块链·期股
柳贯一(逆流河版)2 小时前
ElasticSearch 实战:全文检索与数据聚合分析的完整指南
大数据·elasticsearch·全文检索
白鲸开源2 小时前
最佳实践:基于Apache SeaTunnel从MySQL同步到PostgreSQL
大数据·mysql·postgresql
QYResearch2 小时前
2025年全球移动变电站市场占有率及行业竞争格局分析报告
大数据
字节跳动数据平台2 小时前
为何底层数据湖决定了 AI Agent 的上限?
大数据
QYResearch2 小时前
自主机器人扫雪机行业现状与分析
大数据
洛克大航海2 小时前
Ubuntu中使用Hadoop的HDFS和MapReduce
hadoop·ubuntu·hdfs·mapreduce
数据与人工智能律师7 小时前
解码Web3:DeFi、GameFi、SocialFi的法律风险警示与合规路径
大数据·网络·人工智能·云计算·区块链