使用metricbeat 监控多ES集群

木号2024-01-08 9:41

背景

ES 本身自带 监控，属于xpack 中的内容，为商业版，需要收费；

并且 monitor 功能必须要在security开启后才能使用，还有就是集群监控自己，将采集到的性能数据保存到本集群，这是一个比较差的设计方式，因为对于生产集群，它不得不为监控提供额外的资源；还有就是集群故障之后，监控数据不可见，在集群恢复之前，无法查看监控数据；

metricbeat

Metricbeat是一个轻量级的托运程序，可以安装在服务器上，定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据，并将它们发送到您指定的输出，例如Elasticsearch或Logstash。

Metricbeat 本身可以向kibana 发送dashboard 的模板，用于kibana 的对监控信息的图形化展示；

Kibana

Kibana是Elasticsearch的官方UI工具，它提供了强大的可视化和搜索功能，可以用于监控和调优Elasticsearch集群。Kibana提供了许多内置的仪表盘和可视化组件，可以用来展示Elasticsearch的性能指标、日志和事件数据等。开发者和运维人员可以使用Kibana来监控集群的健康状况、索引状态、搜索响应时间等。

架构

  1. 部署单独用于保存监控数据的ES 集群(单节点也是可以的) + 用于展示监控数据的 kibana;

  2. 一个 metricbeat 用于收集所有的 被监控的ES 集群；(也可以一个ES cluster 一个对应的metricbeat，这样更改一个的配置就不影响其他的信息收集)

  3. 被监控的cluster 需要开启相关配置，允许被采集监控信息；（目前是在全部相同的ES 版本上采集，对于要监控的cluster ES 版本不同的情况未测试）

实现步骤

1， 配置被监控的cluster

配置启动收集监控数据

在 elasticsearch.yml 添加 xpack.monitoring.collection.enabled: true

也可以在 kibana 中执行：

bash 复制代码 
PUT /_cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

这样被监控cluster 就可以被收集监控指标了；

2，配置 metricbeat

配置要收集的cluster 和 monitor ES 地址；

2.1 启用 elasticsearch-xpack module

bash 复制代码 
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules enable elasticsearch-xpack    
Enabled elasticsearch-xpack
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules list
Enabled:
elasticsearch-xpack

2.2 配置要被监控的ES cluster

bash 复制代码 
# 上面的命令执行后，可以配置 modules.d/elasticsearch-xpack.yml 了，向其中添加 elasticsearch module
# 由于没有开启 xpack, 无需配置 username 和 password
user@EBJ1214112 metricbeat-7.10.1-1 % cat modules.d/elasticsearch-xpack.yml

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-elasticsearch.html

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster1:9201"]
  scope: cluster
  #username: "user"
  #password: "secret"

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster2:9202"]
  scope: cluster
  #username: "user"
  #password: "secret"

2.3 配置 metricbeat.yml

metricbeat.yml 其中包含了 elasticsearch out 信息、展示监控指标kibana的地址

bash 复制代码 
# cat metricbeat.yml

# ======================= Elasticsearch template setting =======================
# 用于向 monitor ES 发送 template 的配置
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
  #_source.enabled: false
  
# =================================== Kibana ===================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
# 向该kibana发送dashboard 信息
setup.kibana:
  host: "monitor:5601"

# ---------------------------- Elasticsearch Output ----------------------------
# 采集的监控数据将被收到下面的ES 中
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["monitor:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

2.4 启动 metricbeat

bash 复制代码 
# 首先是预发执行：
# setup : 向kibana 发出dashboard ,还有向 ES 发出template
# 查看下面日志：
# 1， 定义的 ILM， 用于控制监控数据的大小，及时删除旧数据；
# 2， 向ES 发送了 template ，用于指导 index 的创建；
# 3， Kibana dashboards successfully loaded
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat setup -e
......
2024-01-06T17:59:07.978+0800	INFO	[index-management]	idxmgmt/std.go:261	Auto ILM enable success.
2024-01-06T17:59:07.986+0800	INFO	[index-management.ilm]	ilm/std.go:139	do not generate ilm policy: exists=true, overwrite=false
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:274	ILM policy successfully loaded.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:407	Set setup.template.name to '{metricbeat-7.10.1 {now/d}-000001}' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:412	Set setup.template.pattern to 'metricbeat-7.10.1-*' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:446	Set settings.index.lifecycle.rollover_alias in template to {metricbeat-7.10.1 {now/d}-000001} as ILM is enabled.
2024-01-06T17:59:07.987+0800	INFO	[index-management]	idxmgmt/std.go:450	Set settings.index.lifecycle.name in template to {metricbeat {"policy":{"phases":{"hot":{"actions":{"rollover":{"max_age":"30d","max_size":"50gb"}}}}}}} as ILM is enabled.
2024-01-06T17:59:07.991+0800	INFO	template/load.go:183	Existing template will be overwritten, as overwrite is enabled.
2024-01-06T17:59:08.175+0800	INFO	template/load.go:117	Try loading template metricbeat-7.10.1 to Elasticsearch
2024-01-06T17:59:08.430+0800	INFO	template/load.go:109	template with name 'metricbeat-7.10.1' loaded.
2024-01-06T17:59:08.430+0800	INFO	[index-management]	idxmgmt/std.go:298	Loaded index template.
2024-01-06T17:59:08.818+0800	INFO	[index-management]	idxmgmt/std.go:309	Write alias successfully generated.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
2024-01-06T17:59:08.818+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:09.083+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:10.880+0800	INFO	[add_cloud_metadata]	add_cloud_metadata/add_cloud_metadata.go:89	add_cloud_metadata: hosting provider type not detected.
2024-01-06T18:00:52.056+0800	INFO	instance/beat.go:815	Kibana dashboards successfully loaded.
Loaded dashboards


# 上面准备工作执行完成，就可以真正的采集数据了
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat -e
3，monitor ES

可以通过 kibana 查看ES 中的数据：

bash 复制代码 
GET .monitoring-es-7-mb-2024.01.07/_search
{
  "size": 200, 
  "sort": [
    {
      "timestamp": {
        "order": "desc"
      }
    }
  ]
}

# 多次执行，发现数据有变动，说明数据已经已经存在了；
4，kibana

到目前为止，很顺利，我们在kibana 上看到了监控集群，但是点进去看一下详细信息的时候，发生了一下的提示，意思是由于被监控的集群的 license 是 basic ，所以不支持查看。

通过修改 metric 数据改变license 版本类型：

哈哈，license 变了，之后再聊怎么变的。

点进一个cluster ，可以看到监控了：

5，elasticsearch

由于 监控数据中保存了 原始集群的 license 信息，所以我们改一下就好；

bash 复制代码 
# 保存监控数据index为 .monitoring-es-7-mb-2024.01.07
# 先为 license 添加mapping,使其可以被查询, 并可以改变
PUT /.monitoring-es-7-mb-2024.01.07/_mapping
{
  "properties": {
    "license": {
      "properties": {
        "type": {
          "type": "keyword"
        }
      }
    }
  }
}

# 定义 pipeline 用于改变 license 
PUT _ingest/pipeline/set-license
{
  "description" : "sets license",
  "processors" : [ {
      "set" : {
        "field": "license.type",
        "value": "platinum"  # 这里改为 铂金版
      }
  } ]
}

# 执行 更改数据 ，查到 license.type=basic 改为 license.type=platinum
POST .monitoring-es-7-mb-2024.01.07/_update_by_query?pipeline=set-license
{
  "query": {
    "term": {
      "license.type": {
        "value": "basic"
      }
    }
  }
}

上面的改变数据license需要考验手速，在 metricbeat period: 10s 之间改完，然后点进cluster 监控dashbard 进去就可以慢慢看了。

ToDo

上述的方案虽然能实现多ES集群的监控，但是由于需要拼手速是不完美的。改进的方案为

1， 另外起一个 进程不断地更新license.type 为 basic 为 platinum；

2，在monitor ES中安装一个 plugin ： 其中定义 ActionFilter ，用于过滤 bulk index 的请求，改变其中的请求body ,将 license.type 为 basic 为 platinum （推荐，但有开发量，但不多）

相关推荐
喝醉酒的小白29 分钟前
Elasticsearch 中，分片（Shards）数量上限？副本的数量？
大数据·elasticsearch·jenkins
熟透的蜗牛3 小时前
Elasticsearch 8.17.1 JAVA工具类
elasticsearch
九圣残炎7 小时前
【ElasticSearch】 Java API Client 7.17文档
java·elasticsearch·搜索引擎
risc1234569 小时前
【Elasticsearch】HNSW
elasticsearch
我的棉裤丢了10 小时前
windows安装ES
大数据·elasticsearch·搜索引擎
乙卯年QAQ12 小时前
【Elasticsearch】RestClient操作文档
java·大数据·elasticsearch·jenkins
超级阿飞16 小时前
利用Kubespray安装生产环境的k8s集群-实施篇
elasticsearch·容器·kubernetes
小诺大人1 天前
Docker 安装 elk(elasticsearch、logstash、kibana)、ES安装ik分词器
elk·elasticsearch·docker
forestsea1 天前
【Elasticsearch 】 聚合分析：桶聚合
大数据·elasticsearch·搜索引擎
乙卯年QAQ1 天前
【Elasticsearch】Springboot编写Elasticsearch的RestAPI
spring boot·elasticsearch
热门推荐
01xgboost: Why not implement distributed XGBoost on top of spark02Dell服务器升级ubuntu 22.04失败解决03半导体应用系统一些小知识收集(strip&wafer mapping,EAP&scada)04密码学原理技术-第六章-introduction to pulibc-key cryptography05(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明06优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间07centos7 init.d 和system.d08Windows10安装PCL1.14.0及点云配准09渗透测试之SQLMAP工具详解 kali自带SQLmap解释 重点sqlmap --tamper 使用方式详解 搞完你就很nice了10ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(二)