Hadoop JMX 配置的完整文档

一、JMX 基础概念与 Hadoop 支持

1、JMX 作用

Java Management Extensions(JMX)提供标准 API 监控 JVM 应用运行时状态(内存、线程、GC)及 Hadoop 组件指标(HDFS 容量、RPC 性能、节点状态)

2、Hadoop 组件 JMX 支持

  • NameNodeFSNamesystemState(文件系统状态)、NameNodeActivity(操作统计)
  • DataNodeDataNodeActivity(数据传输)、FSDatasetState(存储状态)
  • ResourceManagerClusterMetrics(集群资源)、QueueMetrics(队列负载)
  • NodeManagerNodeManagerMetrics(容器状态)、ShuffleMetrics(Shuffle 性能)

二、配置

1、namenode

java 复制代码
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeActivity
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=JvmMetrics
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8022

2、resourceManager

java 复制代码
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=ClusterMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=JvmMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8030
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8031
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8032
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8033
http://hadoop24:8088/jmx?qry=java.lang:type=GarbageCollector,name=ConcurrentMarkSweep
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=FSOpDurations
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=EventMetrics

3、datanode

java 复制代码
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=DataNodeActivity-%s-%s 
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=JvmMetrics
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=RpcActivityForPort%s
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=FSDatasetState-%s

4、nodemanager

java 复制代码
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=JvmMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=NodeManagerMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8040
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8041
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=ShuffleMetrics
相关推荐
西猫雷婶30 分钟前
STAR-CCM+|K-epsilon湍流模型溯源
大数据·云计算
努力买辣条33 分钟前
基于 Docker 的高可用 WordPress 集群部署:分布式 Nginx + Keepalived、MySQL 主从复制与 ProxySQL 读写分离
分布式·nginx·docker
2501_924889552 小时前
商超高峰客流统计误差↓75%!陌讯多模态融合算法在智慧零售的实战解析
大数据·人工智能·算法·计算机视觉·零售
曼岛_3 小时前
[系统架构设计师]大数据架构设计理论与实践(十九)
大数据·系统架构·系统架构设计师
计算机编程小咖4 小时前
《基于大数据的农产品交易数据分析与可视化系统》选题不当,毕业答辩可能直接挂科
java·大数据·hadoop·python·数据挖掘·数据分析·spark
.Shu.4 小时前
git实战(7)git常用命令速查表
大数据·git
软件开发明哥5 小时前
BigData大数据应用开发学习笔记(03)离线处理--数据仓库Hive
大数据
haidizym5 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
2501_924890526 小时前
商超场景徘徊识别误报率↓79%!陌讯多模态时序融合算法落地优化
java·大数据·人工智能·深度学习·算法·目标检测·计算机视觉
tan77º8 小时前
【Linux网络编程】分布式Json-RPC框架 - 项目设计
linux·服务器·网络·分布式·网络协议·rpc·json