hadoop第3课(hdfs shell)

一.基本操作命令

显示目录下的文件列表命令:-ls

hadoop fs -ls /

创建文件夹命令:-mkdir

hadoop fs -mkdir /test

上传文件命令:-put或-copyFromLocal

hadoop fs -put words.log /test

查看文件内容命令:-cat或-tail或-text

hadoop fs -cat /test/words.log

注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。

文件复制命令:-get或-copyToLocal

hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data

注意:本地目录需要提前创建。

删除文件命令:-rm

hadoop fs -rm /test/words.log

删除文件夹命令:-rm -r

Hadoop fs -rm -r /test

二.管理员操作命令

返回HDFS集群的状态信息

hdfs dfsadmin -report

保存HDFS集群相关节点信息

hdfs dfsadmin -metasave metasave.tt

备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。

从namenode获取最新的fsimage文件

hdfs dfsadmin -fetchImage ~

打印集群网络拓扑

hdfs dfsadmin -printTopology

备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。

刷新集群节点信息

hdfs dfsadmin -refreshNodes

三.安全模式命令

介绍:

安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。
查看安全模式状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。

退出安全模式

hdfs dfsadmin -safemode leave

相关推荐
临风赏月25 分钟前
Hadoop、Kafka、Flink、Spark、Hive五大组件运维常用操作命令
hadoop·flink·kafka
杨超越luckly1 小时前
HTML应用指南:利用POST请求获取全国爱回收门店位置信息
大数据·前端·python·信息可视化·html
呆呆小金人1 小时前
SQL视图:虚拟表的完整指南
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
梦里不知身是客112 小时前
Spark介绍
大数据·分布式·spark
啊吧怪不啊吧2 小时前
SQL之表的查改(下)
大数据·数据库·sql
猫猫姐姐10 小时前
Flink基于Paimon的实时湖仓解决方案的演进
大数据·flink·湖仓一体
笨蛋少年派12 小时前
Hive安装部署
数据仓库·hive·hadoop
极客数模12 小时前
2025年(第六届)“大湾区杯”粤港澳金融数学建模竞赛准备!严格遵循要求,拿下大奖!
大数据·python·数学建模·金融·分类·图论·boosting
Elastic 中国社区官方博客14 小时前
Elastic AI agent builder 介绍(三)
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
王卫东16 小时前
深入HBase:原理剖析与优化实战
大数据·数据库·hbase