hadoop win10安装排坑

主题

非是发神经,非要在win上去验证部署,主要观察一下不同ip连接产生的配置差异有多少问题,坑是踩了不少,但hadoop的问题要少一些,做个记录,免得后续遗漏。

下载

hadoop下载地址,选择所需版本进行下载

在win环境下的特殊处理

默认的下载没有一些.cmd的批处理启动,需要补充,另外一些dll是没有的,需要补充 但是启动没从这个地方启动

复制代码
hadoop -version

用的默认路径下的hadoop-3.0.1\sbin,start-all.cmd进行启动 通过8088查看实例情况

配置参数

\etc\hadoop下的主要配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

  • core-site.xml
xml 复制代码
   <property>
        <name>fs.defaultFS</name>
        <!-- <value>hdfs://192.168.145.1:9000</value> -->
        <value>hdfs://0.0.0.0:9000</value>
   </property> 
    <property>  
     <name>hadoop.security.authorization</name>  
      <value>false</value>  
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/F:/hadoop/tmp</value>
    </property>
  • hdfs-site.xml
xml 复制代码
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>  

   <!-- 设置名称节点位置 存储名称表(fsimage)的位置-->

   <property>
        <name>dfs.namenode.name.dir</name>
        <value>/F:/hadoop/data/namenode</value>
    </property>
       <!-- 确定DFS数据节点应在本地文件系统上的哪个位置存储其块 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/F:/hadoop/data/datanode</value>
    </property>  
   
   <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
   </property>

   <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
   </property>
  • mapred-site.xml
xml 复制代码
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
  • yarn-site.xml
xml 复制代码
  <!--nomenodeManager获取数据的方式是shuffle-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
       <!--指定Yarn的老大(ResourceManager)的地址-->     
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <!-- <value>192.168.43.162</value> -->
            <value>0.0.0.0</value>
    </property> 
   <property>
            <name>yarn.resourcemanager.address</name>
            <!-- <value>192.168.43.162:8032</value> -->
              <value>0.0.0.0:8032</value>
    </property> 

    <property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
      <property>
     <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
     <value>100.0</value>
 </property>

    <property>
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

格式化

hdfs namenode -format

当正常连接出现Cannot create directory /tmp/. Name node is in safe mode

org.apache.hadoop.ipc.RemoteException: Cannot create directory /user/root/.flink/application_1705115673637_0001. Name node is in safe mode.

bash 复制代码
hdfs dfsadmin -safemode leave

yarn 启动问题

安装时启动yarn时出现error Couldn't find a package.json file问题, 如果你的机器上装有node的包管理工具yarn,此时启动,就会引起歧义,应当使用\bin\yarn命令 解决办法 编辑打开sbin/start-yarn.cmd 更改yarn -> %HADOOP_HOME%\bin\yarn,去除歧义即可

yarn 配置问题

我的场景主要是主机上启动的hadoop,但是在虚拟机上去访问发现8032端口通过虚拟机IP访问有问题,但是自身的vlan通过IP无问题。 \etc\hadoop\yarn-site.xml,增加如下配置,替换成你hadoop部署的Ip地址

xml 复制代码
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>0.0.0.0</value>
    </property> 
   <property>
            <name>yarn.resourcemanager.address</name>
              <value>0.0.0.0:8032</value>
    </property> 
相关推荐
大数据CLUB37 分钟前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空1 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
无级程序员21 小时前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
王小王-1232 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
王小王-1232 天前
基于Hadoop的大规模文本词频统计分析系统设计与实现
hadoop·mapreduce·hadoop词频统计·hadoop文本统计·mapreduce词频统计
桂成林2 天前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
望获linux3 天前
【实时Linux实战系列】CPU 隔离与屏蔽技术
java·linux·运维·服务器·操作系统·开源软件·嵌入式软件
王小王-1233 天前
基于Hadoop的京东厨具商品数据分析及商品价格预测系统的设计与实现
hadoop·数据分析·京东厨具·厨具分析·商品分析
谷新龙0013 天前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
数据智能老司机3 天前
Linux内核编程——网络驱动程序
linux·架构·操作系统