hadoop_hdfs-site.xml配置实例

hadoop3.2.3的高可用集群hdfs-site.xml配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<!-- 设置HDFS的副本因子,即数据块在集群中的副本数量为3 -->
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<property>
		<!-- 配置HDFS的名称服务,此处指定了一个名为starcluster的名称服务 -->
		<name>dfs.nameservices</name>
		<value>starcluster</value>
	</property>
	
	<property>
		<!-- 配置名称服务starcluster下的活跃和备用名称节点 -->
   		<name>dfs.ha.namenodes.starcluster</name>
   		<value>nn1,nn2</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn1</name>
   		<value>namenode-1:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn1的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn1</name>
   		<value>namenode-1:50070</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的RPC通信地址 -->
   		<name>dfs.namenode.rpc-address.starcluster.nn2</name>
   		<value>namenode-2:9000</value>
	</property>
	
	<property>
		<!-- 配置名称节点nn2的HTTP通信地址 -->
   		<name>dfs.namenode.http-address.starcluster.nn2</name>
   		<value>namenode-2:50070</value>
	</property>
	
	<property>
		<!-- 配置共享编辑日志的存储位置,用于支持名称节点的高可用性 -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://datanode-1:8485;datanode-2:8485;datanode-3:8485;datanode-4:8485;datanode-5:8485/starcluster</value>
	</property>
	
	<property>
		<!-- 启用自动故障转移功能,以提高HDFS的可用性 -->
		<name>dfs.ha.automatic-failover.enabled.starcluster</name>
		<value>true</value>
	</property>
	
	<property>
		<!-- 配置客户端故障转移代理提供者,用于在名称节点故障时自动切换到备用名称节点 -->
   		<name>dfs.client.failover.proxy.provider.starcluster</name>
   		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<property>
		<!-- 配置JournalNode的编辑日志存储目录 -->
   		<name>dfs.journalnode.edits.dir</name>
   		<value>/home/hadoop/journal</value>
	</property>
	
	<property>
		<!-- 配置名称节点在进行故障转移时的隔离方法,此处使用shell命令(/bin/true)作为示例 -->
		<name>dfs.ha.fencing.methods</name>
		<value>shell(/bin/true)</value>
	</property>
	
	<property>
		<!-- 指定SSH私钥文件的位置,该文件用于名称节点之间进行安全的SSH通信 -->
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	
  <property>
		<!-- 配置名称节点的本地存储目录,用于保存名称节点的元数据 -->
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/hadoop/dfs/name</value>
  </property>

  <property>
		<!-- 配置数据节点的本地存储目录,用于保存数据节点的数据块 -->
   	<name>dfs.datanode.data.dir</name>
   	<value>file:/home/hadoop/dfs/data</value>
  </property>

    <property>
		<!-- 设置HDFS的权限检查是否启用,此处设置为false,表示不启用权限检查 -->
 		<name>dfs.permissions.enabled</name>
		<value>false</value>
   	</property>
	
    <property>
		<!-- 配置数据节点选择存储卷的策略,此处使用基于可用空间的策略 -->
		<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
		<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

	 <property>
		<!-- 指定一个文件,该文件包含需要被排除在HDFS之外的主机列表 -->
		<name>dfs.hosts.exclude</name>
		<value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>
	</property>
		
</configuration>
相关推荐
IT学长编程15 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
IT学长编程17 小时前
计算机毕业设计 基于深度学习的酒店评论文本情感分析研究 Python毕业设计项目 Hadoop毕业设计选题 机器学习选题【附源码+文档报告+安装调试】
hadoop·python·深度学习·机器学习·数据分析·毕业设计·酒店评论文本情感分析
小朋友,你是否有很多问号?18 小时前
Mac安装hadoop
hadoop·macos
奋斗的蛋黄21 小时前
HDFS与Yarn深入剖析
大数据·运维·hadoop
core5121 天前
Hive实战(三)
数据仓库·hive·hadoop
BYSJMG1 天前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计
陈天伟教授1 天前
Hadoop Windows客户端配置与实践指南
大数据·hadoop·windows
lifallen1 天前
Hadoop MapOutputBuffer:Map高性能核心揭秘
java·大数据·数据结构·hadoop·算法·apache
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
Luna-player2 天前
某个工程 pom.xml
xml