hadoop学习中遇到的问题一

由于看视频总是断断续续,经常遇到各种报错,现将遇到的问题进行总结。

hadoop学习中遇到的问题:hadoop拒绝连接

hadoop安装好之后,在本地浏览器输入地址http://192.168.222.102:9870,提示拒绝连接。在网上找了很多相关资料,有很多原因导致,一个是防火墙没关闭,一个是namenode没有启动起来,等等...

那么,我是写了这样一段代码:

java 复制代码
package com.atguigu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSClient {
    @Test
    public void testMkdirs() throws IOException, InterruptedException, URISyntaxException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        // 配置在集群上运行
        // configuration.set("fs.defaultFS", "hdfs://hadoop102:9820");
        // FileSystem fs = FileSystem.get(configuration);

        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "atguigu");

        // 2 创建目录
        fs.mkdirs(new Path("/1108/daxian/banzhang"));

        // 3 关闭资源
        fs.close();
    }
}

报了如下错误:

bash 复制代码
Call From LENOVO/192.168.222.1 to hadoop102:8020 failed on connection exception:

也就是连接没有成功,那么在平时学习时经常会开机关机而忘记启动集群,会产生这样的错误。如果之后遇到拒绝连接这样的问题,尝试看看这篇博客。

如何启动集群,到安装hadoop目录下的sbin里面执行start-dfs.sh文件。

bash 复制代码
[atguigu@hadoop102 sbin]$ start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
Starting secondary namenodes [hadoop104]
[atguigu@hadoop102 sbin]$ jps
5334 Jps
4925 NameNode
5055 DataNode

hadoop学习中遇到的问题:进入安全模式

bash 复制代码
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /1108/daxian/banzhang. Name node is in safe mode.

解决方法:
直接执行:hdfs dfsadmin -safemode leave

bash 复制代码
[atguigu@hadoop102 sbin]$ hdfs dfsadmin -safemode leave 
Safe mode is OFF

最终,程序运行成功。

相关推荐
万邦科技Lafite14 分钟前
实战演练:通过API获取商品详情并展示
大数据·数据库·python·开放api接口
在未来等你22 分钟前
Elasticsearch面试精讲 Day 14:数据写入与刷新机制
大数据·分布式·elasticsearch·搜索引擎·面试
黄焖鸡能干四碗32 分钟前
智慧教育,智慧校园,智慧安防学校建设解决方案(PPT+WORD)
java·大数据·开发语言·数据库·人工智能
自强的小白1 小时前
vlan(局部虚拟网)
网络·学习
phac1231 小时前
git 如何直接拉去远程仓库的内容且忽略本地与远端不一致的commit
大数据·git·elasticsearch
一只乔哇噻1 小时前
java后端工程师进修ing(研一版 || day41)
java·开发语言·学习·算法
在未来等你1 小时前
Elasticsearch面试精讲 Day 11:索引模板与动态映射
大数据·分布式·elasticsearch·搜索引擎·面试
正在走向自律1 小时前
国产时序数据库选型指南-从大数据视角看透的价值
大数据·数据库·清华大学·时序数据库·iotdb·国产数据库
知识分享小能手1 小时前
React学习教程,从入门到精通,React 使用属性(Props)创建组件语法知识点与案例详解(15)
前端·javascript·vue.js·学习·react.js·前端框架·vue
在未来等你1 小时前
Kafka面试精讲 Day 14:集群扩容与数据迁移
大数据·分布式·面试·kafka·消息队列