云计算作业一hadoop:问题解决备忘

教程地址:https://blog.csdn.net/qq_53877854/article/details/142412784

修改网络配置文件

复制代码
vim /etc/sysconfig/network-scripts/ifcfg-ens33

在root用户下编辑

静态ip地址配置后查看ip与配置不符

注意:确保在这之前已经在VMware的编辑>虚拟网络编辑器调整过NAT的配置 具体步骤可以看这个帖子的第三步:

https://blog.csdn.net/weixin_63721954/article/details/130792569

在/etc/sysconfig/network-scripts/ifcfg-ens33配置了IPADDR=192.168.186.129

但是用ifconfig查看老是186.128,后来用

复制代码
sudo systemctl disable NetworkManager

命令停用了NetworkManager,重启了一下就好了

另外,如果用ifconfig查看没有ens33接口,尝试使用这条语句获取一个ip地址

复制代码
sudo dhclient ens33

集群搭建具体参考

老师发的教程有些地方跳过了,比如克隆虚拟机,虚拟网络配置

更详细:https://blog.csdn.net/weixin_63721954/article/details/130792569

home目录

波浪号(~)的特殊性:

在大多数Unix和Linux shell中,波浪号(~)被用作当前用户家目录的简写。

当你输入 ~ 时,shell会自动将其替换为当前用户的家目录路径,这通常是在 /home 目录下以用户名命名的子目录。不能直接用/home访问当前用户(非root)的home目录

2.2 通过Java 项目访问HDFS

注意程序中修改端口和ip地址,与你之前配置的保持一致

如:

3.2 WordCount示例运行提示加载不出主类

记得加上上个实验的依赖:

xml 复制代码
    <dependencies>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-client</artifactId>
       </dependency>
       <dependency>
           <groupId>junit</groupId>
           <artifactId>junit</artifactId>
           <scope>test</scope>
       </dependency>
   </dependencies>

注意hadoop-minicluster要与client版本一致

hbase下载

版本很老的镜像下载很慢,选择一个稳定版下载即可,我下载的2.5.10

相关推荐
weixin_307779134 小时前
C#程序实现将MySQL的存储过程转换为Azure Synapse Dedicated SQL Pool的T-SQL存储过程
c#·自动化·云计算·运维开发·azure
TG_yunshuguoji20 小时前
亚马逊云渠道商:AWS实例自动替换策略在哪里设置?
运维·服务器·云计算·aws
TG:@yunlaoda360 云老大1 天前
阿里云国际站GPU:阿里云GPU怎么释放实例?
服务器·阿里云·云计算
TG:@yunlaoda360 云老大1 天前
阿里云国际站GPU:怎么通过控制台自助排查功能诊断GPU?
服务器·阿里云·云计算
runepic1 天前
阿里云 CentOS 磁盘扩容记录:resize2fs 版本过低导致无法扩容的解决方案
服务器·阿里云·centos·云计算·1024程序员节
B站_计算机毕业设计之家1 天前
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop ✅
大数据·hadoop·爬虫·python·数据分析·1024程序员节·舆情分析
TG:@yunlaoda360 云老大1 天前
腾讯云国际站代理商:腾讯云负载均衡的健康探测源IP,我该如何诊断和配置?
服务器·云计算·腾讯云
TG:@yunlaoda360 云老大1 天前
腾讯云国际站WAF:如何在腾讯云WAF上设置CC攻击防护,以保障业务数据免被恶意爬取?
服务器·云计算·腾讯云
KevinPedri1 天前
测试:uk8s创建监控和告警同步飞书等渠道
docker·kubernetes·云计算·1024程序员节
大叔_爱编程1 天前
基于随机森林算法的Boss直聘数据分析及可视化-hadoop+django+spider
hadoop·django·1024程序员节·spider·随机森林算法·boss直聘