云计算作业一hadoop:问题解决备忘

guts3502024-10-23 10:23

教程地址：https://blog.csdn.net/qq_53877854/article/details/142412784

修改网络配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

在root用户下编辑

静态ip地址配置后查看ip与配置不符

注意：确保在这之前已经在VMware的编辑>虚拟网络编辑器调整过NAT的配置具体步骤可以看这个帖子的第三步：

https://blog.csdn.net/weixin_63721954/article/details/130792569

在/etc/sysconfig/network-scripts/ifcfg-ens33配置了IPADDR=192.168.186.129

但是用ifconfig查看老是186.128，后来用

sudo systemctl disable NetworkManager

命令停用了NetworkManager，重启了一下就好了

另外，如果用ifconfig查看没有ens33接口，尝试使用这条语句获取一个ip地址

sudo dhclient ens33

集群搭建具体参考

老师发的教程有些地方跳过了，比如克隆虚拟机，虚拟网络配置

更详细：https://blog.csdn.net/weixin_63721954/article/details/130792569

home目录

波浪号（~）的特殊性：

在大多数Unix和Linux shell中，波浪号（~）被用作当前用户家目录的简写。

当你输入 ~ 时，shell会自动将其替换为当前用户的家目录路径，这通常是在 /home 目录下以用户名命名的子目录。不能直接用/home访问当前用户（非root）的home目录

2.2 通过Java 项目访问HDFS

注意程序中修改端口和ip地址，与你之前配置的保持一致

如：

3.2 WordCount示例运行提示加载不出主类

记得加上上个实验的依赖：

xml 复制代码

    <dependencies>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-client</artifactId>
       </dependency>
       <dependency>
           <groupId>junit</groupId>
           <artifactId>junit</artifactId>
           <scope>test</scope>
       </dependency>
   </dependencies>

注意hadoop-minicluster要与client版本一致

hbase下载

版本很老的镜像下载很慢，选择一个稳定版下载即可，我下载的2.5.10