hadoop常用命令

Yarn

查看提交到资源调度器的任务(任何用yarn资源的都可以看,比如spark、tez、mapreduce)

看正在运行的yarn任务

yarn application -list

杀死对应的yarn任务

yarn application -kill {application_Id}(id可以通过-list看到)

hdfs

查看hdfs目录

hdfs dfs -ls /(查看本集群的目录)

hdfs dfs -ls hdfs://ip地址:端口号/(查看指定集群的目录,需要有相关访问权限--如互信,如票据)

查看namenode active节点

hdfs haadmin 先输入这个,然后有提示 -getServiceState

创建目录

hdfs dfs -mkdir /

统计文件大小

(-s是返回合并所有文件后结果,-h是自动转换为可见的单位,不加-h返回的是字节数)

hdfs dfs -du -s -h /目录

相关推荐
小黄编程快乐屋1 小时前
npm操作大全:从入门到精通
前端·npm·node.js
m0_748255261 小时前
基于大数据的气象数据分析与可视化系统设计与实现【爬虫海量数据,LSTM预测】
大数据·爬虫·数据分析
DX_水位流量监测2 小时前
全自动化河道水位监测系统:实时传输与远程监控
大数据·运维·网络·人工智能·安全·信息可视化·自动化
网络点点滴4 小时前
NPM简介
前端·npm·node.js
N串6 小时前
供应链系统设计-供应链中台系统设计(八)- 商品中心设计篇
大数据
m0_748244967 小时前
大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL
大数据·数据库·mysql
RacheV+TNY2642787 小时前
电商数据API接口的安全挑战与应对策略
大数据·开发语言·网络·数据库·人工智能
yuanbenshidiaos7 小时前
【大数据】机器学习-----------贝叶斯分类器
大数据·人工智能·机器学习
Elastic 中国社区官方博客7 小时前
如何通过 Apache Airflow 将数据导入 Elasticsearch
大数据·数据库·elasticsearch·搜索引擎·全文检索·apache