HDFS EXERCISES

复制代码
bash: hdfs: command not found...

这可能是因为hdfs命令不在系统环境变量中

复制代码
whereis hadoop

找到hadoop的位置

一旦找到Hadoop安装目录,您需要将其 bin 目录添加到PATH环境变量中。

复制代码
vi ~/.bashrc

.bashrc 是一个在Linux和Unix系统中用于Bash shell的配置文件。当你启动一个新的终端会话时,或者在命令行中启动一个新的Bash实例时,该文件会被自动读取并执行。文件中包含的命令用于配置终端会话的环境变量,别名,以及自定义命令。

是改变生效

复制代码
source ~/.bashrc

复制代码
bash: start-dfs.sh: command not found...

这通常意味着 Hadoop 的 sbin 目录 没有被添加到环境变量 PATH 中。

同上解决

$

在 Bash 和其他类 Unix 操作系统的 shell 中,$ 符号用于访问变量的值。当你在命令行或者脚本中使用 $ 符号,它告诉 shell 去获取与紧随其后的文字对应的变量的值。

当你定义了一个变量,比如 MY_VARIABLE=hello,你可以通过 $MY_VARIABLE 来访问它的值。例如,echo $MY_VARIABLE 会输出 hello

修改完之后就可以全局启动hdfs

复制代码
start-dfs.sh

查看状态我们可以发现没有datanode

我们可以手动启动datanode

复制代码
hadoop-daemon.sh start datanode

查看UI界面

先关闭防火墙

复制代码
systemctl stop firewalld    #关闭防火墙

systemctl disable firlewalld  #关闭防火墙开机启动

访问

复制代码
http://localhost:50070

在hdfs上创建文件

复制代码
hdfs dfs -mkdir /demo

一开始出现了如下错误

解决方法如下

复制代码
cd /etc
vi hosts

再重新启动

复制代码
stop-all.sh
start-all.sh

然后解决问题


我们发现没有datanode

删除hadoop/tmp时可以使用

复制代码
rm -rm tmp


Linux(CentOS7)下安装idea的详细步骤_centos7.9安装idea社区版本-CSDN博客

参考以上教程

相关推荐
Grey Zeng7 小时前
Java SE 25新增特性
java·jdk·jdk新特性·jdk25
雨白8 小时前
Java 线程通信基础:interrupt、wait 和 notifyAll 详解
android·java
AAA修煤气灶刘哥10 小时前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql
架构师沉默13 小时前
设计多租户 SaaS 系统,如何做到数据隔离 & 资源配额?
java·后端·架构
Java中文社群14 小时前
重要:Java25正式发布(长期支持版)!
java·后端·面试
RestCloud14 小时前
揭秘 CDC 技术:让数据库同步快人一步
数据库·api
每天进步一点_JL15 小时前
JVM 类加载:双亲委派机制
java·后端
用户2986985301416 小时前
Java HTML 转 Word 完整指南
java·后端
渣哥16 小时前
原来公平锁和非公平锁差别这么大
java
渣哥16 小时前
99% 的人没搞懂:Semaphore 到底是干啥的?
java