Mac M1 安装Hadoop教程(安装包安装)

一、引言

复制代码
 前面一期,我分享了通过homebrew方式安装Hadoop,本期我将通过安装包方式介绍下hadoop如何安装。

二、下载open jdk8

官方下载地址

注意如果是x86架构的苹果电脑,Architecture选择x86 64-bit或者 x86-32bit。

下载后,将得到下面这样一个软件包

三、安装open jdk8

双击标红的部分,然后按照提示,一直默认安装即可。

安装后的路径为:
/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

四、开启远程共享

选择电脑左上角的苹果🍎图标,打开系统设置,在搜索框中搜索共享,在共享中,打开远程登录文件共享功能按钮。

五、配置SSH免密登录

1.打开Terminal终端,使用下面命令生成密钥:

bash 复制代码
ssh-keygen -t rsa

回车、y、回车、回车

2.授权访问

bash 复制代码
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 授予其访问权限(自己访问自己电脑免密)
chmod 600 ~/.ssh/authorized_keys

3.验证登录(不需要密码)

bash 复制代码
ssh localhost

出现如下提示,说明安装成功:

六、配置hosts

bash 复制代码
open -e /etc/hosts

在文件中添加如下内容:

bash 复制代码
127.0.0.1    localhost

并保存。

七、下载和解压Hadoop

1.下载方法参考

2.下载好后,进行解压,将解压后的文件夹命名为hadoop-3.4.0,并将解压的hadoop文件夹放到资源库(这里你可以根据自己需要放到指定路径下,如果放到其它地方有些配置你需要做对应修改)。

八、配置Hadoop

使用VSCode打开Hadoop文件夹,对下面指定文件进行修改。

1.修改hadoop-env.sh

去掉 # export JAVA_HOME= 前的 # 注释;

将上面安装open-jdk的安装路径补充上去;

修改后如下图所示:

2.修改core-site.xml

bash 复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Library/hadoop-3.4.0/data</value>
  </property>
 <property>
   <name>hadoop.proxyuser.mark.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.mark.groups</name>
   <value>*</value>
 </property>
</configuration>

新建存放数据的文件夹

bash 复制代码
mkdir /Library/hadoop-3.4.0/data

3.修改hdfs-site.xml

bash 复制代码
<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
</configuration>

4.修改mapped-site.xml

bash 复制代码
<configuration>
   <property>
      <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5.修改yarn-site.xml

bash 复制代码
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
   </property> 

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>

修改后,注意保存。

九.格式磁盘并启动Hadoop

1.打开终端Terminal,进入Hadoop文件夹

bash 复制代码
cd /Library/hadoop-3.4.0

# 格式化磁盘
./bin/hdfs namenode -format

在打印的日志中,没有报错,且有下面提示表示格式化成功!

如果在执行过程中,发现权限不足,解决办法参考链接

2.启动Hadoop

bash 复制代码
./sbin/start-all.sh

发现权限不足,解决办法参考链接

3.查看后台进程

bash 复制代码
jps

出现下面说明启动成功。

十.浏览器访问HDFS和YARN

1.浏览器输入如下网址,查看HDFS

bash 复制代码
http://localhost:9870



2.查看YARN,浏览器输入如下网址

bash 复制代码
http://localhost:8088

出现如下界面说明YARN启动成功,有1个节点可用。

相关推荐
携欢4 小时前
CodeQL(Mac)安装与测试(Visual Studio)简明指南
ide·vscode·macos
zzu123zsw10 小时前
01-Hadoop简介与生态系统
hadoop
鸿儒之观10 小时前
hadoop 框架 jar下载
大数据·hadoop·jar
2302_7995257410 小时前
【Hadoop】Hadoop集群安装中出现的问题
linux·hadoop
counting money11 小时前
JAVA泛型基础
java·开发语言·eclipse
明月(Alioo)12 小时前
机器学习入门,用Lima在macOS免费搭建Docker环境,彻底解决镜像与收费难题!
macos·docker·容器
小江村儿的文杰12 小时前
UE4 Mac构建编译报错 no template named “is_void_v” in namespace “std”
macos·ue4
IT研究室13 小时前
大数据毕业设计选题推荐-基于大数据的分化型甲状腺癌复发数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
计算机编程小央姐13 小时前
数据安全成焦点:基于Hadoop+Spark的信用卡诈骗分析系统实战教程
大数据·hadoop·python·spark·毕业设计·课程设计·dash
MonkeyKing_sunyuhua14 小时前
mac怎么安装uv工具
python·macos·uv