hadoop 集群的常用命令

查看HDFS目录内容

hadoop fs -ls /path

创建目录

hadoop fs -mkdir /path/to/dir

上传本地文件到HDFS

hadoop fs -put localfile /hdfs/path

下载HDFS文件到本地

hadoop fs -get /hdfs/path localfile

查看文件内容

hadoop fs -cat /hdfs/path/file

删除文件/目录

hadoop fs -rm /hdfs/path/file

hadoop fs -rm -r /hdfs/path/dir

查看文件大小

hadoop fs -du -h /hdfs/path

启动HDFS

start-dfs.sh

停止HDFS

stop-dfs.sh

启动YARN

start-yarn.sh

查看集群节点状态

hdfs dfsadmin -report

查看正在运行的Job

yarn application -list

杀死某个Job

yarn application -kill <application_id>

检查HDFS空间使用情况

hadoop fs -df -h

检查文件块信息

hadoop fsck /path -files -blocks

相关推荐
你觉得2052 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙2 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊2 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清2 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_871290584 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队5 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得2055 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国5 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy6 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记6 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go