hadoop_hdfs-site.xml配置实例

hadoop3.2.3的高可用集群hdfs-site.xml配置实例

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<!-- 设置HDFS的副本因子，即数据块在集群中的副本数量为3 -->
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<property>
		<!-- 配置HDFS的名称服务，此处指定了一个名为starcluster的名称服务 -->
		<name>dfs.nameservices</name>
		<value>starcluster</value>
	</property>
	
	<property>
		<!-- 配置名称服务starcluster下的活跃和备用名称节点 -->
   		<name>dfs.ha.namenodes.starcluster</name>
   		<value>nn1,nn2</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn1</name>
   		<value>namenode-1:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn1</name>
   		<value>namenode-1:50070</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn2</name>
   		<value>namenode-2:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn2</name>
   		<value>namenode-2:50070</value>
	</property>
	
	<property>
		<!-- 配置共享编辑日志的存储位置，用于支持名称节点的高可用性 -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://datanode-1:8485;datanode-2:8485;datanode-3:8485;datanode-4:8485;datanode-5:8485/starcluster</value>
	</property>
	
	<property>
		<!-- 启用自动故障转移功能，以提高HDFS的可用性 -->
		<name>dfs.ha.automatic-failover.enabled.starcluster</name>
		<value>true</value>
	</property>
	
	<property>
		<!-- 配置客户端故障转移代理提供者，用于在名称节点故障时自动切换到备用名称节点 -->
   		<name>dfs.client.failover.proxy.provider.starcluster</name>
   		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<property>
		<!-- 配置JournalNode的编辑日志存储目录 -->
   		<name>dfs.journalnode.edits.dir</name>
   		<value>/home/hadoop/journal</value>
	</property>
	
	<property>
		<!-- 配置名称节点在进行故障转移时的隔离方法，此处使用shell命令(/bin/true)作为示例 -->
		<name>dfs.ha.fencing.methods</name>
		<value>shell(/bin/true)</value>
	</property>
	
	<property>
		<!-- 指定SSH私钥文件的位置，该文件用于名称节点之间进行安全的SSH通信 -->
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	
　　<property>
		<!-- 配置名称节点的本地存储目录，用于保存名称节点的元数据 -->
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/hadoop/dfs/name</value>
　　</property>

　　<property>
		<!-- 配置数据节点的本地存储目录，用于保存数据节点的数据块 -->
　　　	<name>dfs.datanode.data.dir</name>
　　　	<value>file:/home/hadoop/dfs/data</value>
　　</property>

    <property>
		<!-- 设置HDFS的权限检查是否启用，此处设置为false，表示不启用权限检查 -->
 		<name>dfs.permissions.enabled</name>
		<value>false</value>
   	</property>
	
    <property>
		<!-- 配置数据节点选择存储卷的策略，此处使用基于可用空间的策略 -->
		<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
		<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

	 <property>
		<!-- 指定一个文件，该文件包含需要被排除在HDFS之外的主机列表 -->
		<name>dfs.hosts.exclude</name>
		<value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>
	</property>
		
</configuration>