hadoop常用命令

Yarn

查看提交到资源调度器的任务(任何用yarn资源的都可以看,比如spark、tez、mapreduce)

看正在运行的yarn任务

yarn application -list

杀死对应的yarn任务

yarn application -kill {application_Id}(id可以通过-list看到)

hdfs

查看hdfs目录

hdfs dfs -ls /(查看本集群的目录)

hdfs dfs -ls hdfs://ip地址:端口号/(查看指定集群的目录,需要有相关访问权限--如互信,如票据)

查看namenode active节点

hdfs haadmin 先输入这个,然后有提示 -getServiceState

创建目录

hdfs dfs -mkdir /

统计文件大小

(-s是返回合并所有文件后结果,-h是自动转换为可见的单位,不加-h返回的是字节数)

hdfs dfs -du -s -h /目录

相关推荐
试剂界的爱马仕30 分钟前
TCA 循环中间体如何改写肝损伤命运【AbMole】
大数据·人工智能·科技·机器学习·ai写作
Leo.yuan1 小时前
数据湖是什么?数据湖和数据仓库的区别是什么?
大数据·运维·数据仓库·人工智能·信息可视化
hao_wujing2 小时前
基于梯度的中毒攻击
大数据·人工智能
qq_4639448613 小时前
【Spark征服之路-2.2-安装部署Spark(二)】
大数据·分布式·spark
前端百草阁14 小时前
从npm库 Vue 组件到独立SDK:打包与 CDN 引入的最佳实践
前端·vue.js·npm
夏日米米茶14 小时前
Windows系统下npm报错node-gyp configure got “gyp ERR“解决方法
前端·windows·npm
weixin_5051544614 小时前
数字孪生在建设智慧城市中可以起到哪些作用或帮助?
大数据·人工智能·智慧城市·数字孪生·数据可视化
打码人的日常分享14 小时前
智慧城市建设方案
大数据·架构·智慧城市·制造
阿里云大数据AI技术17 小时前
ES Serverless 8.17王牌发布:向量检索「火力全开」,智能扩缩「秒级响应」!
大数据·运维·serverless
Mikhail_G17 小时前
Python应用变量与数据类型
大数据·运维·开发语言·python·数据分析