HDFS的Shell操作及客户端配置方法

HDFS进程启停命令

Hadoop HDFS组件内置了HDFS集群的一键启停脚本。

  • $HADOOP_HOME/sbin/start-dfs.sh,一键启动HDFS集群
  • $HADOOP_HOME/sbin/stop-dfs.sh,一键关闭HDFS集群
    执行原理:
  1. 在执行此脚本的机器上,启动(关闭)SecondaryNameNode
  2. 读取core-site.xml内容(fs.defaultFS项),确认NameNode所在机器,启动(关闭)NameNode
  3. 读取workers内容,确认DataNode所在机器,启动(关闭)全部DataNode

除了一键启停外,也可以单独控制进程的启停

  • $HADOOP_HOME/sbin/hadoop-daemon.sh,此脚本可以单独控制所在机器的进程的启停
    用法:hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
  • $HADOOP_HOME/bin/hdfs,此程序也可以用以单独控制所在机器的进程的启停
    用法:hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

HDFS文件系统基本命令(跟Linux命令基本一样)

  • hadoop命令(老版本用法),用法:hadoop fs [generic options]
  • hdfs命令(新版本用法),用法:hdfs dfs [generic options]
  1. 创建文件夹 (mkdir)
    hadoop fs -mkdir [-p] <path>
    hdfs dfs -mkdir [-p] <path>

    hadoop fs -mkdir -p /itest

    hdfs dfs -mkdir -p /itest

  2. 上传文件到HDFS指定目录下(上传put,下载 get)
    hadoop fs -put [-f] [-p] <localsrc> ... <dst>
    hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

    hadoop fs -put test.txt /itest

    hdfs dfs -put test.txt /itest

  3. 追加数据到HDFS文件中(appendToFile)
    hadoop fs -appendToFile <localsrc> ... <dst>
    hdfs dfs -appendToFile <localsrc> ... <dst>

    hadoop fs -appendToFile 2.txt 3.txt /itest/1.txt

    hdfs dfs -appendToFile 2.txt 3.txt /itest/1.txt

  4. HDFS数据删除操作(rm,skipTrash跳过回收站)
    hadoop fs -rm -r [-skipTrash] URI [URI ...]
    hdfs dfs -rm -r [-skipTrash] URI [URI ...]

    hadoop fs -rm -r -skipTrash /itest

    hdfs dfs -rm -r -skipTrash /itest

  5. HDFS shell其它命令(点此参照官方文档

  6. HDFS WEB浏览

    使用WEB浏览操作文件系统,一般会遇到权限问题

    这是因为WEB浏览器中是以匿名用户(dr.who)登陆的,其只有只读权限,多数操作是做不了的。
    如果需要以特权用户在浏览器中进行操作,需要配置如下内容到core-site.xml并重启集群

    <property> <name>hadoop.http.staticuser.user</name> <value>hadoop</value> </property>

== 注意:不推荐这样做 ==

HDFS WEBUI,只读权限挺好的,简单浏览即可

如果给与高权限,会有很大的安全问题,造成数据泄露或丢失

Big Data Tools插件

1、插件安装

在Jetbrains的产品中,均可以安装插件,其中:Big Data Tools插件可以帮助我们方便的操作HDFS,以下均支持Bigdata Tool插件,如

  • IntelliJ IDEA(Java IDE)
  • PyCharm(Python IDE)
  • DataGrip(SQL IDE)
    如图,在设置->Plugins(插件)-> Marketplace(市场),搜索Big Data Tools,点击Install安装即可

2、配置Windows

需要对Windows系统做一些基础设置,配合插件使用

  • 解压Hadoop安装包到Windows系统,如解压到:E:\hadoop-3.3.4
  • 设置$HADOOP_HOME环境变量指向:E:\hadoop-3.3.4
  • 下载 hadoop.dll 点此官网下载 和 winutils.exe 点此官网下载
    将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中
  • 然后打开插件,如下图


    至此,HDFS的Shell操作及客户端配置方法结束!!
相关推荐
yumgpkpm27 分钟前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
华阙之梦2 小时前
【在 Windows 上运行 Apache Hadoop 或 Spark/GeoTrellis 涉及 HDFS 】
hadoop·windows·apache
vivo互联网技术5 小时前
vivo HDFS EC大规模落地实践
大数据·hdfs·大数据计算与存储·erasure coding
还是大剑师兰特6 小时前
Hadoop面试题及详细答案 110题 (96-105)-- Hadoop性能优化
hadoop·大剑师·hadoop面试题
洛克大航海1 天前
Ubuntu中使用Hadoop的HDFS和MapReduce
hadoop·ubuntu·hdfs·mapreduce
scorpion_V1 天前
VScode 中执行 npm 报错的问题
ide·vscode·npm
夫唯不争,故无尤也1 天前
Maven创建Java项目实战全流程
java·数据仓库·hive·hadoop·maven
FreeBuf_1 天前
攻击者利用Discord Webhook通过npm、PyPI和Ruby软件包构建隐蔽C2通道
前端·npm·ruby
还是大剑师兰特1 天前
Hadoop面试题及详细答案 110题 (71-85)-- 集群部署与运维
大数据·hadoop·大剑师·hadoop面试题
_清浅1 天前
大数据平台基础(Hadoop大数据原理与应用)
大数据·hadoop·分布式