Mac M1 安装Hadoop教程（安装包安装）

一、引言

复制代码

 前面一期，我分享了通过homebrew方式安装Hadoop，本期我将通过安装包方式介绍下hadoop如何安装。

二、下载open jdk8

官方下载地址

注意如果是x86架构的苹果电脑，Architecture选择x86 64-bit或者 x86-32bit。

下载后，将得到下面这样一个软件包

三、安装open jdk8

双击标红的部分，然后按照提示，一直默认安装即可。

安装后的路径为：
/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

四、开启远程共享

选择电脑左上角的苹果🍎图标，打开系统设置，在搜索框中搜索共享，在共享中，打开远程登录和文件共享功能按钮。

五、配置SSH免密登录

1.打开Terminal终端，使用下面命令生成密钥：

bash 复制代码

ssh-keygen -t rsa

回车、y、回车、回车

2.授权访问

bash 复制代码

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 授予其访问权限（自己访问自己电脑免密）
chmod 600 ~/.ssh/authorized_keys

3.验证登录（不需要密码）

bash 复制代码

ssh localhost

出现如下提示，说明安装成功：

六、配置hosts

bash 复制代码

open -e /etc/hosts

在文件中添加如下内容：

bash 复制代码

127.0.0.1    localhost

并保存。

七、下载和解压Hadoop

1.下载方法参考

2.下载好后，进行解压，将解压后的文件夹命名为hadoop-3.4.0，并将解压的hadoop文件夹放到资源库（这里你可以根据自己需要放到指定路径下，如果放到其它地方有些配置你需要做对应修改）。

八、配置Hadoop

使用VSCode打开Hadoop文件夹，对下面指定文件进行修改。

1.修改hadoop-env.sh

去掉 # export JAVA_HOME= 前的 # 注释；

将上面安装open-jdk的安装路径补充上去；

修改后如下图所示：

2.修改core-site.xml

bash 复制代码

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Library/hadoop-3.4.0/data</value>
  </property>
 <property>
   <name>hadoop.proxyuser.mark.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.mark.groups</name>
   <value>*</value>
 </property>
</configuration>

新建存放数据的文件夹

bash 复制代码

mkdir /Library/hadoop-3.4.0/data

3.修改hdfs-site.xml

bash 复制代码

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
</configuration>

4.修改mapped-site.xml

bash 复制代码

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5.修改yarn-site.xml

bash 复制代码

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
   </property> 

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>

修改后，注意保存。

九.格式磁盘并启动Hadoop

1.打开终端Terminal，进入Hadoop文件夹

bash 复制代码

cd /Library/hadoop-3.4.0

# 格式化磁盘
./bin/hdfs namenode -format

在打印的日志中，没有报错，且有下面提示表示格式化成功！

如果在执行过程中，发现权限不足，解决办法参考链接

2.启动Hadoop

bash 复制代码

./sbin/start-all.sh

发现权限不足，解决办法参考链接

3.查看后台进程

bash 复制代码

jps

出现下面说明启动成功。

十.浏览器访问HDFS和YARN

1.浏览器输入如下网址，查看HDFS

bash 复制代码

http://localhost:9870

2.查看YARN，浏览器输入如下网址

bash 复制代码

http://localhost:8088

出现如下界面说明YARN启动成功，有1个节点可用。