Hadoop JMX 配置的完整文档

一、JMX 基础概念与 Hadoop 支持

1、JMX 作用

Java Management Extensions(JMX)提供标准 API 监控 JVM 应用运行时状态(内存、线程、GC)及 Hadoop 组件指标(HDFS 容量、RPC 性能、节点状态)

2、Hadoop 组件 JMX 支持

  • NameNodeFSNamesystemState(文件系统状态)、NameNodeActivity(操作统计)
  • DataNodeDataNodeActivity(数据传输)、FSDatasetState(存储状态)
  • ResourceManagerClusterMetrics(集群资源)、QueueMetrics(队列负载)
  • NodeManagerNodeManagerMetrics(容器状态)、ShuffleMetrics(Shuffle 性能)

二、配置

1、namenode

java 复制代码
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeActivity
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=JvmMetrics
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8022

2、resourceManager

java 复制代码
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=ClusterMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=JvmMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8030
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8031
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8032
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8033
http://hadoop24:8088/jmx?qry=java.lang:type=GarbageCollector,name=ConcurrentMarkSweep
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=FSOpDurations
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=EventMetrics

3、datanode

java 复制代码
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=DataNodeActivity-%s-%s 
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=JvmMetrics
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=RpcActivityForPort%s
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=FSDatasetState-%s

4、nodemanager

java 复制代码
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=JvmMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=NodeManagerMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8040
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8041
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=ShuffleMetrics
相关推荐
snpgroupcn22 分钟前
如何管理数据足迹,实现SAP S/4HANA的无缝迁移
大数据·云计算
武子康31 分钟前
大数据-58 Kafka 消息发送全流程详解:序列化、分区策略与自定义实现
大数据·后端·kafka
思辨共悟1 小时前
Kafka简述及学习课程
分布式·kafka
shengyicanmou1 小时前
2025年物联网新趋势:格行随身WiFi的模块化架构与低延迟优化
大数据·人工智能
补三补四2 小时前
Shapley与SHAP
大数据·人工智能·算法·机器学习·数据分析
Code季风2 小时前
从超卖到数据一致:分布式锁的最佳实践与演进历程
分布式·微服务·go
Code季风2 小时前
深入理解 Redis 分布式锁:实现互斥保障的最佳实践
redis·分布式·微服务
爱吃小土豆豆豆豆2 小时前
登录校验一
java·大数据·数据库
lifallen2 小时前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法
zhongqu_3dnest3 小时前
VR 博物馆:开启文化探索新旅程
大数据