hadoop_hdfs-site.xml配置实例

hadoop3.2.3的高可用集群hdfs-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<!-- 设置HDFS的副本因子,即数据块在集群中的副本数量为3 -->
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<property>
		<!-- 配置HDFS的名称服务,此处指定了一个名为starcluster的名称服务 -->
		<name>dfs.nameservices</name>
		<value>starcluster</value>
	</property>
	
	<property>
		<!-- 配置名称服务starcluster下的活跃和备用名称节点 -->
   		<name>dfs.ha.namenodes.starcluster</name>
   		<value>nn1,nn2</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn1</name>
   		<value>namenode-1:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn1</name>
   		<value>namenode-1:50070</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn2</name>
   		<value>namenode-2:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn2</name>
   		<value>namenode-2:50070</value>
	</property>
	
	<property>
		<!-- 配置共享编辑日志的存储位置,用于支持名称节点的高可用性 -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://datanode-1:8485;datanode-2:8485;datanode-3:8485;datanode-4:8485;datanode-5:8485/starcluster</value>
	</property>
	
	<property>
		<!-- 启用自动故障转移功能,以提高HDFS的可用性 -->
		<name>dfs.ha.automatic-failover.enabled.starcluster</name>
		<value>true</value>
	</property>
	
	<property>
		<!-- 配置客户端故障转移代理提供者,用于在名称节点故障时自动切换到备用名称节点 -->
   		<name>dfs.client.failover.proxy.provider.starcluster</name>
   		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<property>
		<!-- 配置JournalNode的编辑日志存储目录 -->
   		<name>dfs.journalnode.edits.dir</name>
   		<value>/home/hadoop/journal</value>
	</property>
	
	<property>
		<!-- 配置名称节点在进行故障转移时的隔离方法,此处使用shell命令(/bin/true)作为示例 -->
		<name>dfs.ha.fencing.methods</name>
		<value>shell(/bin/true)</value>
	</property>
	
	<property>
		<!-- 指定SSH私钥文件的位置,该文件用于名称节点之间进行安全的SSH通信 -->
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	
  <property>
		<!-- 配置名称节点的本地存储目录,用于保存名称节点的元数据 -->
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/hadoop/dfs/name</value>
  </property>

  <property>
		<!-- 配置数据节点的本地存储目录,用于保存数据节点的数据块 -->
   	<name>dfs.datanode.data.dir</name>
   	<value>file:/home/hadoop/dfs/data</value>
  </property>

    <property>
		<!-- 设置HDFS的权限检查是否启用,此处设置为false,表示不启用权限检查 -->
 		<name>dfs.permissions.enabled</name>
		<value>false</value>
   	</property>
	
    <property>
		<!-- 配置数据节点选择存储卷的策略,此处使用基于可用空间的策略 -->
		<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
		<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

	 <property>
		<!-- 指定一个文件,该文件包含需要被排除在HDFS之外的主机列表 -->
		<name>dfs.hosts.exclude</name>
		<value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>
	</property>
		
</configuration>
相关推荐
爱吃面的猫5 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
椰椰椰耶12 小时前
【MyBatis】XML实现,配置方法和增、删、改、查
xml·oracle·mybatis
Edingbrugh.南空15 小时前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
旷世奇才李先生1 天前
XML Schema 安装使用教程
xml
大数据CLUB2 天前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空2 天前
Hadoop高可用集群搭建
大数据·hadoop·分布式
ddfa12342 天前
XML 笔记
xml·服务器
无级程序员2 天前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
一勺菠萝丶3 天前
Spring Boot + MyBatis/MyBatis Plus:XML中循环处理List参数的终极指南
xml·spring boot·mybatis
王小王-1233 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车