hadoop_hdfs-site.xml配置实例

hadoop3.2.3的高可用集群hdfs-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<!-- 设置HDFS的副本因子,即数据块在集群中的副本数量为3 -->
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<property>
		<!-- 配置HDFS的名称服务,此处指定了一个名为starcluster的名称服务 -->
		<name>dfs.nameservices</name>
		<value>starcluster</value>
	</property>
	
	<property>
		<!-- 配置名称服务starcluster下的活跃和备用名称节点 -->
   		<name>dfs.ha.namenodes.starcluster</name>
   		<value>nn1,nn2</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn1</name>
   		<value>namenode-1:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn1</name>
   		<value>namenode-1:50070</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn2</name>
   		<value>namenode-2:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn2</name>
   		<value>namenode-2:50070</value>
	</property>
	
	<property>
		<!-- 配置共享编辑日志的存储位置,用于支持名称节点的高可用性 -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://datanode-1:8485;datanode-2:8485;datanode-3:8485;datanode-4:8485;datanode-5:8485/starcluster</value>
	</property>
	
	<property>
		<!-- 启用自动故障转移功能,以提高HDFS的可用性 -->
		<name>dfs.ha.automatic-failover.enabled.starcluster</name>
		<value>true</value>
	</property>
	
	<property>
		<!-- 配置客户端故障转移代理提供者,用于在名称节点故障时自动切换到备用名称节点 -->
   		<name>dfs.client.failover.proxy.provider.starcluster</name>
   		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<property>
		<!-- 配置JournalNode的编辑日志存储目录 -->
   		<name>dfs.journalnode.edits.dir</name>
   		<value>/home/hadoop/journal</value>
	</property>
	
	<property>
		<!-- 配置名称节点在进行故障转移时的隔离方法,此处使用shell命令(/bin/true)作为示例 -->
		<name>dfs.ha.fencing.methods</name>
		<value>shell(/bin/true)</value>
	</property>
	
	<property>
		<!-- 指定SSH私钥文件的位置,该文件用于名称节点之间进行安全的SSH通信 -->
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	
  <property>
		<!-- 配置名称节点的本地存储目录,用于保存名称节点的元数据 -->
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/hadoop/dfs/name</value>
  </property>

  <property>
		<!-- 配置数据节点的本地存储目录,用于保存数据节点的数据块 -->
   	<name>dfs.datanode.data.dir</name>
   	<value>file:/home/hadoop/dfs/data</value>
  </property>

    <property>
		<!-- 设置HDFS的权限检查是否启用,此处设置为false,表示不启用权限检查 -->
 		<name>dfs.permissions.enabled</name>
		<value>false</value>
   	</property>
	
    <property>
		<!-- 配置数据节点选择存储卷的策略,此处使用基于可用空间的策略 -->
		<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
		<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

	 <property>
		<!-- 指定一个文件,该文件包含需要被排除在HDFS之外的主机列表 -->
		<name>dfs.hosts.exclude</name>
		<value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>
	</property>
		
</configuration>
相关推荐
2501_938782091 小时前
《大数据框架选型指南:Hadoop 与 Spark 的性能、成本与扩展性对比》
大数据·hadoop·spark
Luna-player3 小时前
基于XML方式的声明式事务管理 -》某配置文件解读
xml
梦里不知身是客114 小时前
hive的SQL语句练习2
hive·hadoop·sql
梦里不知身是客114 小时前
hive的SQL练习3
hive·hadoop·sql
lang201509287 小时前
Spring XML AOP配置实战指南
xml·java·spring
Q26433650237 小时前
【有源码】基于Hadoop与Spark的时尚精品店数据分析与可视化系统-基于多维度分析的零售时尚销售数据挖掘与可视化研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·毕业设计
顧棟8 小时前
【Flink实战】升级HDFS,对Flink SQL(On Yarn模式)的功能兼容性验证
hadoop·flink·1024程序员节
笨蛋少年派18 小时前
使用hdfs命令报错:Unknown command:dfs(环境变量正确)
大数据·hadoop·hdfs
淼_@淼1 天前
python-xml
xml·python·1024程序员节
lang201509281 天前
Spring OXM:轻松实现Java-XML互转
xml·java·spring