hadoop第3课(hdfs shell)

一.基本操作命令

显示目录下的文件列表命令:-ls

hadoop fs -ls /

创建文件夹命令:-mkdir

hadoop fs -mkdir /test

上传文件命令:-put或-copyFromLocal

hadoop fs -put words.log /test

查看文件内容命令:-cat或-tail或-text

hadoop fs -cat /test/words.log

注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。

文件复制命令:-get或-copyToLocal

hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data

注意:本地目录需要提前创建。

删除文件命令:-rm

hadoop fs -rm /test/words.log

删除文件夹命令:-rm -r

Hadoop fs -rm -r /test

二.管理员操作命令

返回HDFS集群的状态信息

hdfs dfsadmin -report

保存HDFS集群相关节点信息

hdfs dfsadmin -metasave metasave.tt

备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。

从namenode获取最新的fsimage文件

hdfs dfsadmin -fetchImage ~

打印集群网络拓扑

hdfs dfsadmin -printTopology

备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。

刷新集群节点信息

hdfs dfsadmin -refreshNodes

三.安全模式命令

介绍:

安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。
查看安全模式状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。

退出安全模式

hdfs dfsadmin -safemode leave

相关推荐
桑榆08062 小时前
电商双11美妆数据分析
大数据
九河云3 小时前
汽车制造行业的数字化转型
大数据·科技·重构·汽车·制造
chat2tomorrow3 小时前
数据中台建设系列(五):SQL2API驱动的数据共享与服务化实践
大数据·数据库·数据仓库·sql·数据治理·数据中台·sql2api
盘古信息IMS4 小时前
富乐德传感技术&盘古信息 | 锚定“未来工厂”新坐标,开启传感器制造行业数字化转型新征程
大数据·人工智能·制造
lboyj4 小时前
从AI到新能源:猎板PCB的HDI技术如何定义高端制造新标准?
大数据·人工智能
开目软件4 小时前
开目新一代MOM:AI赋能高端制造的破局之道
大数据·人工智能·制造·mom·开目软件
郭不耐4 小时前
DeepSeek智能时空数据分析(八):NL2SQL绘制河流-轨迹缓冲区如何生成
大数据·数据分析·云计算·aigc·数据可视化
果冻人工智能5 小时前
AI能否取代软件架构师?我将4个大语言模型进行了测试
大数据·人工智能·深度学习·语言模型·自然语言处理·ai员工
Acrel136119655145 小时前
Acrel-EIoT 能源物联网云平台在能耗监测系统中的创新设计
大数据·人工智能·能源·创业创新
大腾智能6 小时前
五一旅游潮涌:数字化如何驱动智慧旅游升级
大数据·人工智能·数字化·旅游数字化