Kali Linux 安装搭建 hadoop 平台 详细教程

1)前期环境准备:(虚拟机、jdk、ssh)

2)SSH相关配置

安装SSH Server服务器:apt-get install openssh-server

更改默认的SSH密钥
cd /etc/ssh
mkdir ssh_key_backup
mv ssh_host_* ssh_key_backup

创建新密钥:dpkg-reconfigure openssh-server

允许 SSH Root 访问,修改SSH 配置文件 /etc/ssh/sshd_config :vim /etc/ssh/sshd_config

重启SSH:service ssh restart

查看是否安装成功:ssh -V

SSH登录本机:ssh localhost

若是登陆失败提示权限不足:
sudo passwd root #注意此处的root为当前登录本机所在的用户名,不一定是root
sudo service ssh restart
ssh localhost

SSH无密登录:

退出刚才的ssh localhost:exit
cd ~/.ssh/
ssh-keygen -t rsa #这里一直回车就行
cat ~/.ssh/id_rsa.pub >> ./authorized_keys

最后,SSH授权完成,再次ssh localhost 则不再需要密码了,也不再影响伪分布hadoop启动。

3)安装Hadoop

首先在官网上下载压缩包(版本3.2.2)。然后将压缩包拖进自己喜欢的目录(个人是/home/jay17)。

1、之后创建一个空的文件夹,用来解压hadoop
mkdir /home/Hadoop

2、解压,-C 指定解压路径到创建的文件夹路径。
tar zxvf hadoop-3.2.2.tar.gz -C /home/jay17/Hadoop/

3、授权,使文件夹具有读写文件的权利,否则直接影响其他相关操作,必须要执行!!
chown -R root /home/jay17/Hadoop/hadoop-3.2.2/

4、检测Hadoop是否解压安装正确:
cd /home/jay17/Hadoop/hadoop-3.2.2/
./bin/hadoop version

遇到报错说java环境变量不存在。

5、解决方法如下:

切换目录: cd etc/hadoop

执行:vim hadoop-env.sh

修改java_home路径和hadoop_conf_dir路径为具体的安装路径,例如:
export JAVA_HOME=/usr/local/jdk1.8.0_212
export HADOOP_CONF_DIR=/home/jay17/Hadoop/hadoop-3.2.2/etc/hadoop

重新加载使修改生效:source hadoop-env.sh

6、回去检测Hadoop,已经解压安装!
cd /home/jay17/Hadoop/hadoop-3.2.2/
./bin/hadoop version

4)配置Hadoop环境变量

与java环境变量的配置类似,用编辑器打开.bashrc文件(vim /root/.bashrc),保存修改后,执行source /root/.bashrc命令使其生效:
export HADOOP_HOME=/home/jay17/Hadoop/hadoop-3.2.2
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

如果source /root/.bashrc命令如果遇到报错如下:同时也没有达到预期效果。

我们就把刚刚步骤中的.bashrc换成.zshrc。

保存并生效后,便可在任何路径下使用hadoop命令了,使用hadoop version命令验证。出现此前执行./bin/hadoop version命令时所出现的信息,则证明环境变量修改无误。

一定要确定写对后再执行生效,避免不必要的麻烦,如果操作不当,导致命令几乎失效的话,请执行该命令恢复:
export PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin

相关推荐
宵时待雨几秒前
linux笔记归纳24:多路转接select
linux·服务器·笔记·高并发
ACP广源盛139246256732 分钟前
接口适配方案选型|GSV6125@ACP HDMI2.0 转 Type‑C/DP1.4 桥接芯片工程评估
大数据·c语言·开发语言·硬件架构·硬件工程·国产芯片
RISCV_Explorer2 分钟前
技术指南:从总线协议到软件可见行为——RISC-V 多核缓存一致性的 Linux 实践
linux·缓存·risc-v
Dragon_qu·x5 分钟前
MongoDB 高可用集群部署
运维·数据库·mongodb·k8s·helm
YOLO数据集集合5 分钟前
风机叶片缺陷检测数据集 | 风机叶片 缺陷检测 风电运维 无人机巡检 细粒度分类9126期
运维·分类·无人机·风电叶片·风力·叶片缺陷
ShineWinsu19 分钟前
对于Redis:Redis特性以及应用场景的解析
linux·c++·redis·缓存·高并发·分布式系统·key-value
亚川楼宇自控系统数据中心厂家22 分钟前
3D 数字孪生赋能电气综合保护监控:看得见的电力安全防线
运维
北冥有鱼被烹23 分钟前
NVIDIA DGX/HGX 服务器全景深度解析:从 H100 到 GB300,专业算力选型必读
运维·服务器·网络·python
YH行业报告分析25 分钟前
2026真空热处理碳纤维材料:大丝束与沥青基路线如何撬动高温热场国产化?
大数据·科技
程序员-Benothing29 分钟前
Linux系统启动流程详解:BIOS/UEFI、GRUB、initramfs、systemd
linux·运维·服务器