hadoop 集群的常用命令

查看HDFS目录内容

hadoop fs -ls /path

创建目录

hadoop fs -mkdir /path/to/dir

上传本地文件到HDFS

hadoop fs -put localfile /hdfs/path

下载HDFS文件到本地

hadoop fs -get /hdfs/path localfile

查看文件内容

hadoop fs -cat /hdfs/path/file

删除文件/目录

hadoop fs -rm /hdfs/path/file

hadoop fs -rm -r /hdfs/path/dir

查看文件大小

hadoop fs -du -h /hdfs/path

启动HDFS

start-dfs.sh

停止HDFS

stop-dfs.sh

启动YARN

start-yarn.sh

查看集群节点状态

hdfs dfsadmin -report

查看正在运行的Job

yarn application -list

杀死某个Job

yarn application -kill <application_id>

检查HDFS空间使用情况

hadoop fs -df -h

检查文件块信息

hadoop fsck /path -files -blocks

相关推荐
技术项目引流3 小时前
elasticsearch查询中的特殊字符影响分析
大数据·elasticsearch·搜索引擎
EasyDSS3 小时前
视频监控从安装到优化的技术指南,视频汇聚系统EasyCVR智能安防系统构建之道
大数据·网络·网络协议·音视频
lilye664 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
苏小夕夕4 小时前
spark-streaming(二)
大数据·spark·kafka
珈和info4 小时前
珈和科技助力“农险提效200%”!“遥感+”技术创新融合省级示范项目荣登《湖北卫视》!
大数据·科技·无人机·智慧农业
盈达科技4 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
电商数据girl6 小时前
产品经理对于电商接口的梳理||电商接口文档梳理与接入
大数据·数据库·python·自动化·产品经理
敖云岚6 小时前
【AI】SpringAI 第五弹:接入千帆大模型
java·大数据·人工智能·spring boot·后端
宅小海6 小时前
spark和Hadoop的区别和联系
大数据·hadoop·spark