什么是 JMX？（Trino JMX 实战讲解）

大数据老司机2023-09-03 18:53

一、概述

JMX 是 Java Management Extensions（Java管理扩展 ） 的缩写，它是 Java 平台上用于管理和监控应用程序、系统和网络资源的一种标准化的管理和监控框架。JMX 提供了一种标准的方式，通过这种方式，开发人员可以暴露应用程序中的各种管理和监控信息，然后可以使用 JMX 客户端工具或应用程序来访问和操作这些信息。

JMX 允许开发人员定义称为 MBeans（Managed Beans）的管理组件，这些组件充当被管理资源的代理，并通过 JMX 接口公开资源的操作和属性。通过 MBeans，您可以监控和管理各种 Java 应用程序和服务器的性能、状态和配置。

JMX 主要用于以下一些方面：

  • 监控 ：可以使用 JMX 来监视应用程序的性能指标，例如内存使用、线程数、请求处理速度等。这对于实时性能分析和故障排除非常有帮助。

  • 管理：JMX 允许您在运行时管理应用程序，例如修改配置参数、重新加载资源、触发操作等。这有助于实现动态管理和配置。

  • 远程管理：JMX 支持远程访问，这意味着您可以在不必物理接触应用程序的情况下，从远程位置监控和管理应用程序。

  • 自定义监控 ：您可以编写自定义 MBeans 来公开特定于您的应用程序的监控数据和操作，以满足特定的管理需求。

总之，JMX 提供了一个强大的框架，用于管理和监控 Java 应用程序，这对于确保应用程序的稳定性和性能至关重要。它广泛用于企业级应用程序和服务器，如应用程序服务器、数据库服务器和中间件。

二、JMX 原理

从图中我们可以看到，JMX的结构一共分为三层：

  1. 基础层 ：主要是 MBean，被管理的资源。

MBean 分为如下四种，我接下来主要介绍 standard MBean

类型 描述
standard MBean 这种类型的MBean最简单，它能管理的资源（包括属性，方法，时间）必须定义在接口中，然后MBean必须实现这个接口。它的命名也必须遵循一定的规范，例如我们的MBean为Hello，则接口必须为HelloMBean。
dynamic MBean 必须实现javax.management.DynamicMBean接口，所有的属性，方法都在运行时定义
open MBean 此MBean的规范还不完善，正在改进中
model MBean 与标准和动态MBean相比，你可以不用写MBean类，只需使用javax.management.modelmbean.RequiredModelMBean即可。RequiredModelMBean实现了ModelMBean接口，而ModelMBean扩展了DynamicMBean接口，因此与DynamicMBean相似，Model MBean的管理资源也是在运行时定义的。与DynamicMBean不同的是，DynamicMBean管理的资源一般定义在DynamicMBean中（运行时才决定管理那些资源），而model MBean管理的资源并不在MBean中，而是在外部（通常是一个类），只有在运行时，才通过set方法将其加入到model MBean中。后面的例子会有详细介绍

  1. 适配层：MBeanServer，主要是提供对资源的注册和管理。

  2. 接入层：提供远程访问的入口。

三、实战操作（开启 Trino JMX）

1）环境部署

如果想快速部署，可以参考我之前的文章：

Trino官方文档：trino.io/docs/curren...

这里为了快速部署就选择docke-compose部署了。

bash 复制代码 
git clone https://gitee.com/hadoop-bigdata/docker-compose-presto.git
cd docker-compose-presto

# 启动服务
docker-compose -f docker-compose.yaml up -d

# 查看
docker-compose -f docker-compose.yaml ps

2）开启 Trino JMX

官方文档：trino.io/docs/curren...

1、配置 config.properties

bash 复制代码 
jmx.rmiregistry.port=9080
jmx.rmiserver.port=9081

参数解释：

  • jmx.rmiregistry.port：指定jmx RMI注册表的端口。JMX客户端应该连接到此端口。
  • jmx.rmiserver.port：指定jmx RMI服务器的端口。Trino导出许多指标，这些指标对于通过JMX进行监控非常有用。

2、配置 jvm.config

bash 复制代码 
-Dcom.sun.management.jmxremote.rmi.port=9081

jmx.rmiregistry.port、jmx.rmiserver.port 和 -Dcom.sun.management.jmxremote.rmi.port 这三者都涉及到 Java Management Extensions (JMX) 和远程管理的端口配置，但它们各自在不同的上下文中起作用：

  • jmx.rmiregistry.port：这个属性指定了 RMI（Remote Method Invocation：远程方法调用） 注册表（RMI Registry）的端口号。RMI 注册表用于注册 JMX 服务，以便客户端可以查找并连接到 JMX 服务。通常情况下，RMI 注册表使用默认端口 号 1099。通过设置 jmx.rmiregistry.port 属性，你可以指定 RMI 注册表使用的不同端口号，以防止端口冲突或增加安全性。

  • jmx.rmiserver.port：这个属性指定了 JMX 服务本身的 RMI 通信端口号。JMX 服务使用 RMI 进行远程通信，客户端通过这个端口与 JMX 服务通信。通常情况下，JMX 服务也使用默认的端口 号 1099。通过设置 jmx.rmiserver.port 属性，你可以指定 JMX 服务的 RMI 端口号。

  • -Dcom.sun.management.jmxremote.rmi.port：这是 Java 系统属性，用于配置 JMX 远程连接的 RMI 端口号。它指定了客户端将用来连接到 JMX 服务的 RMI 端口号。通常情况下，如果不显式设置，它会使用与 jmx.rmiserver.port 相同的端口号。但你也可以使用这个系统属性来指定不同的端口号，以确保客户端可以连接到正确的端口。

这三者之间的关系是：

jmx.rmiregistry.port 和 jmx.rmiserver.port 分别指定 RMI 注册表和 JMX 服务的端口号。 -Dcom.sun.management.jmxremote.rmi.port 可以用来指定客户端连接到 JMX 服务时所使用的 RMI 端口号，它通常设置为与 jmx.rmiserver.port 相同的端口号，但你也可以根据需要将其设置为不同的端口号。

3、重新启动服务

bash 复制代码 
docker-compose -f docker-compose.yaml up -d
docker-compose -f docker-compose.yaml ps

4、获取监控数据

bash 复制代码 
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean

通过jmx 接口就可以获取监控数据了/v1/jmx/mbean，但是数据很多，其实我们可以拿一些我们需要的指标数据即可。接下来我们通过jq 拿到各项监控的子接口。jq 命令的使用可以参考我这篇文章：Linux jq 命令讲解与实战操作（json字符串解析工具）

bash 复制代码 
# coodinator
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean|jq '.[].objectName'

访问具体接口指标

bash 复制代码 
# 内存指标接口
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean|jq '.[].objectName'|grep -i memory

# 指标名称
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean/java.lang:type=Memory|jq '.attributes[].name'

# 指标值
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean/java.lang:type=Memory|jq '.attributes[].value'

# 指标名称
curl -s -H "X-Trino-User:admin"  http://192.168.182.110:30080/v1/jmx/mbean/trino.memory:type=MemoryPool,name=general|jq '.attributes[].name'
# 指标值
curl -s -H "X-Trino-User:admin"  http://192.168.182.110:30080/v1/jmx/mbean/trino.memory:type=MemoryPool,name=general|jq '.attributes[].value'
bash 复制代码 
# worker 节点，coodinator与worker节点的指标会有些不一样
curl -s -H "X-Trino-User:admin" http://192.168.182.110:49153/v1/jmx/mbean|jq '.[].objectName'

# 获取内存接口
curl -s -H "X-Trino-User:admin" http://192.168.182.110:49153/v1/jmx/mbean|jq '.[].objectName'|grep -i memory

# 指标名称
curl -s -H "X-Trino-User:admin"  http://192.168.182.110:30080/v1/jmx/mbean/trino.memory:type=MemoryPool,name=general|jq '.attributes[].name'
# 指标值
curl -s -H "X-Trino-User:admin"  http://192.168.182.110:30080/v1/jmx/mbean/trino.memory:type=MemoryPool,name=general|jq '.attributes[].value'

3）通过 jconsole 连接 JMX

JConsole 是一个基于JMX的GUI工具，用于连接正在运行的JVM，不过此JVM需要使用可管理的模式启动。如果要把一个应用以可管理的形式启动，可以在启动是设置 com.sun.management.jmxremote。

找到java安装bin目录，目录下有个jconsole可执行文件，双击点击打开。

也可以通过 VisualVM 连接 JMX 查看数据

4）常用的 Trino 指标接口和指标

查询所有jmx子接口：

bash 复制代码 
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean|jq '.[].objectName'

# 查询指标名称和值，示例如下：
# 指标名称
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean/java.lang:type=Memory|jq '.attributes[].name'
# 指标值
curl -s -H "X-Trino-User:admin" http://192.168.182.110:30080/v1/jmx/mbean/java.lang:type=Memory|jq '.attributes[].value'

以下就是常用的指标接口和指标说明：

指标接口 指标 说明 指标范围
java.lang:type=Memory HeapMemoryUsage JVM内存使用量。 Worker 和 Coodinator
java.lang:type=Memory NonHeapMemoryUsage 非堆内存使用量。 worker 和 Coodinator
trino.execution:name=QueryManager QueuedQueries 排队数 Coodinator
trino.execution:name=QueryManager RunningQueries 正在运行的查询总数 Coodinator
trino.execution:name=QueryManager ExternalFailures.OneMinute.Count 每分钟外部异常导致的失败查询数。 Coodinator
trino.execution:name=QueryManager SubmittedQueries.OneMinute.Count 每分钟提交的查询总数。 Coodinator
trino.execution:name=QueryManager CanceledQueries.OneMinute.Count 已取消查询的数。 Coodinator
trino.execution:name=QueryManager InsufficientResourcesFailures.OneMinute.Count 每分钟资源不足导致的失败查询数。 Coodinator
trino.execution:name=QueryManager UserErrorFailures.OneMinute.Count 每分钟异常导致的失败查询数。 Coodinator
trino.execution:name=QueryManager CompletedQueries.OneMinute.Count 已完成查询的总数。 Coodinator
trino.execution:name=SqlTaskManager FailedTasks.OneMinute.Count 每分钟失败的Task数目。 Coodinator
trino.execution:name=SqlTaskManager InputDataSize.OneMinute.Count 每分钟Task输入数据量。 Coodinator
trino.execution:name=SqlTaskManager InputPositions.OneMinute.Count 每分钟Task输入数据行数。 Coodinator
trino.execution:name=SqlTaskManager OutputDataSize.OneMinute.Count 每分钟Task输出数据量。 Coodinator
trino.execution:name=SqlTaskManager OutputPositions.OneMinute.Count 每分钟Task输出数据行数。 Coodinator
trino.memory:type=MemoryPool,name=general FreeBytes 节点内存池可用内存。 worker 和 Coodinator
trino.memory:type=MemoryPool,name=general MaxBytes 节点内存池最大内存（JVM*70%）。 worker 和 Coodinator
trino.memory:type=MemoryPool,name=general ReservedBytes 节点内存池reserved内存。 worker 和 Coodinator
trino.memory:type=MemoryPool,name=general ReservedRevocableBytes 节点内存池revocable reserved内存。 worker 和 Coodinator
trino.memory:type=ClusterMemoryPool,name=general ReservedRevocableDistributedBytes 集群内存池revocable reserved内存。 Coodinator
trino.memory:name=ClusterMemoryManager QueriesKilledDueToOutOfMemory oom killed的查询总数。 Coodinator
trino.memory:type=ClusterMemoryPool,name=general TotalDistributedBytes 集群内存池总内存。 Coodinator
trino.memory:type=ClusterMemoryPool,name=general ReservedDistributedBytes 集群内存池reserved内存。 Coodinator
trino.memory:name=ClusterMemoryManager ClusterUserMemoryReservation 集群reserved user memory。 Coodinator
trino.memory:name=ClusterMemoryManager ClusterTotalMemoryReservation 集群reserved内存。 Coodinator
trino.memory:name=ClusterMemoryManager NumberOfLeakedQueries 集群内存泄漏的查询总数。 Coodinator
trino.memory:name=ClusterMemoryManager ClusterMemoryBytes 集群总内存。 Coodinator
trino.execution.executor:name=TaskExecutor WaitingSplits 任务执行器上等待的splits数。 Coodinator
trino.execution.executor:name=TaskExecutor RunningSplits 任务执行器运行的splits数。 Coodinator
trino.execution.executor:name=TaskExecutor RunningSplits 任务执行器总splits数。 Coodinator

上面只是开启了 Trino JMX，指标数据也采集了，怎么展示呢？下一篇文章重点讲解通过 JMX-Exporter 采集数据，然后通过 Prometheus 拉取JMX采集的数据，最后通过Grafana展示。

JMX 的讲解就先到这里了，有任何疑问也可关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

相关推荐
小_太_阳16 分钟前
hadoop_yarn详解
大数据·hadoop·yarn
Data-Miner1 小时前
大数据湖项目建设方案（100页WORD）
大数据·big data
AI服务老曹2 小时前
不仅能够实现前后场的简单互动，而且能够实现人机结合，最终实现整个巡检流程的标准化的智慧园区开源了
大数据·人工智能·深度学习·物联网·开源
管理大亨3 小时前
大数据微服务方案
大数据
脸ル粉嘟嘟4 小时前
大数据CDP集群中Impala&Hive常见使用语法
大数据·hive·hadoop
宝哥大数据4 小时前
数据仓库面试题集&离线&实时
大数据·数据仓库·spark
八荒被注册了4 小时前
6.584-Lab1：MapReduce
大数据·mapreduce
寰宇视讯4 小时前
“津彩嘉年，洽通天下” 2024中国天津投资贸易洽谈会火热启动 首届津彩生活嘉年华重磅来袭！
大数据·人工智能·生活
Hsu_kk5 小时前
Kafka 安装教程
大数据·分布式·kafka
pblh1235 小时前
2023_Spark_实验十五：SparkSQL进阶操作
大数据·分布式·spark
热门推荐
01玄机平台应急响应—webshell查杀02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04液体神经网络：LNN是个啥概念？05文件或文件夹名称中有空格如何批量去除06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07新版微信小程序获取用户手机号08优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间09基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测102024最新 无人机 数据集（不定期更新）