Prometheus 监控Tomcat等java应用的状态

5月应用服务出现问题，当别的小伙伴问我，有没有Tomcat等应用状态的监控的时候，我有点儿尴尬。所以赶紧抽空部署一下。

在配置之前，就当已经会安装jdk和tomcat了。

一、下载jmx_exporter

复制代码

#linux下
cd /usr/local/prometheus
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar

二、配置jmx_exporter

其实配置的时候，可以很简单的写成下面的格式如下

复制代码

#vim /usr/local/prometheus/jmx-exporter.yaml
---
rules:
 - pattern: '.*'

不过，个人觉得上面这种配置，可以快速的上手，正式使用的时候，不推荐这样，因为这样会导致prometheus收集的指标太多了，对于存储和网络都会有些许的影响，特别是手机的主机特别多的时候。比较推荐官方给的配置，如下：

复制代码

#官方推荐配置实例：https://github.com/prometheus/jmx_exporter/blob/master/example_configs/tomcat.yml
#将文件下载下来放到下面文件中/usr/local/prometheus/jmx-exporter.yaml

#cat /usr/local/prometheus/jmx-exporter.yaml
---   
lowercaseOutputLabelNames: true
lowercaseOutputName: true
rules:
- pattern: 'Catalina<type=GlobalRequestProcessor, name=\"(\w+-\w+)-(\d+)\"><>(\w+):'
  name: tomcat_$3_total
  labels:
    port: "$2"
    protocol: "$1"
  help: Tomcat global $3
  type: COUNTER
- pattern: 'Catalina<j2eeType=Servlet, WebModule=//([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), name=([-a-zA-Z0-9+/$%~_-|!.]*), J2EEApplication=none, J2EEServer=none><>(requestCount|maxTime|processingTime|errorCount):'
  name: tomcat_servlet_$3_total
  labels:
    module: "$1"
    servlet: "$2"
  help: Tomcat servlet $3 total
  type: COUNTER
- pattern: 'Catalina<type=ThreadPool, name="(\w+-\w+)-(\d+)"><>(currentThreadCount|currentThreadsBusy|keepAliveCount|pollerThreadCount|connectionCount):'
  name: tomcat_threadpool_$3
  labels:
    port: "$2"
    protocol: "$1"
  help: Tomcat threadpool $3
  type: GAUGE
- pattern: 'Catalina<type=Manager, host=([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), context=([-a-zA-Z0-9+/$%~_-|!.]*)><>(processingTime|sessionCounter|rejectedSessions|expiredSessions):'
  name: tomcat_session_$3_total
  labels:
    context: "$2"
    host: "$1"
  help: Tomcat session $3 total
  type: COUNTER

三，配置tomcat

在配置Tomcat的时候，网上很多人给的都是下面这个配置：

修改文件：tomcat/bin/catalina.sh 或者win下修改tomcat/bin/catalina.bat

复制代码

JAVA_OPTS=" -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml"

这个配置在tomcat8中挺好用的，centos6.9版本的tomcat7 和tomcat8 也都挺好用的。但是centos6.5的tomcat7中，不好用。需要使用下面的配置

复制代码

]# vim tomcat/bin/catalina.sh 
CATALINA_OPTS="$CATALINA_OPTS -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml";exportCATALINA_OPTS

# for  win
tomcat/bin/catalina.bat

恩，catalina_opts这个，在Tomcat7 和8 中都是好用的。如果是java -jar的java包的话，启动命令如下：

复制代码

java -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml -jar yourJar.jar

启动java应用，然后使用ps -ef |grep java 命令来检查启动的java应用中是否有 -javaagent。如果有就表示正常，如果没有，请自行排查问题所在，比如路径不对等。

四、prometheus的配置

我的prometheus使用的是file_sd文件自动发现。所以配置如下

复制代码

  - job_name: "jvm_monitor"
    file_sd_configs:
      - refresh_interval: 30s
        files:
        - ./conf/jvm_monitor/*.json

  - job_name: 'JVM/druid'
    metrics_path: /metrics
    honor_labels: true
    file_sd_configs:
      - files:
        - targets/jvm/druid.yaml

[apps@HZPM004149096 jvm]$ pwd
/data/docker/prometheus/conf/targets/jvm
[apps@HZPM004149096 jvm]$ cat druid.yaml

- labels:
    app: 中运系统
    project: 大运系统
    service: zto-sitefintask-export
    team: 研发一部
    env: 生产
    developer: 聂青
    maintainer: 陈\纲
  targets:
    - 192.168.17.15:8024

- labels:
    app: 中运系统
    project: 大运系统
    service: zto-fintask-export
    team: 研发一部
    env: 生产
    developer: 聂绿水青
    maintainer: 陈振纲
  targets:
    - 192.168.72.19:8023

当然了，也可以使用一台一台的写到prometheus配置文件里，如下：

复制代码

// prometheus.yml 配置文件内容
 - job_name: 'jvm_monitor'
    static_configs:
    - targets: ['192.168.1.200:20000']
      labels:
        appname: 'tomcat_xxx'

当这些都配置的时候，重新加载prometheus的配置文件，使配置生效。

五、配置grafana

grafana的dashboards编号是8563，添加到grafana中即可。之后，就完成了tomcat的监控，如下图，稍微做了一点儿调整。