使用metricbeat 监控多ES集群

背景

ES 本身自带 监控,属于xpack 中的内容,为商业版,需要收费;

并且 monitor 功能必须要在security开启后才能使用,还有就是集群监控自己,将采集到的性能数据保存到本集群,这是一个比较差的设计方式,因为对于生产集群,它不得不为监控提供额外的资源;还有就是集群故障之后,监控数据不可见,在集群恢复之前,无法查看监控数据;

metricbeat

Metricbeat是一个轻量级的托运程序,可以安装在服务器上,定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据,并将它们发送到您指定的输出,例如Elasticsearch或Logstash。

Metricbeat 本身可以向kibana 发送dashboard 的模板,用于kibana 的对监控信息的图形化展示;

Kibana

Kibana是Elasticsearch的官方UI工具,它提供了强大的可视化和搜索功能,可以用于监控和调优Elasticsearch集群。Kibana提供了许多内置的仪表盘和可视化组件,可以用来展示Elasticsearch的性能指标、日志和事件数据等。开发者和运维人员可以使用Kibana来监控集群的健康状况、索引状态、搜索响应时间等。

架构

  1. 部署单独用于保存监控数据的ES 集群(单节点也是可以的) + 用于展示监控数据的 kibana;

  2. 一个 metricbeat 用于收集所有的 被监控的ES 集群;(也可以一个ES cluster 一个对应的metricbeat,这样更改一个的配置就不影响其他的信息收集)

  3. 被监控的cluster 需要开启相关配置,允许被采集监控信息;(目前是在全部相同的ES 版本上采集,对于要监控的cluster ES 版本不同的情况未测试)

实现步骤

1, 配置被监控的cluster

配置启动收集监控数据

在 elasticsearch.yml 添加 xpack.monitoring.collection.enabled: true

也可以在 kibana 中执行:

bash 复制代码
PUT /_cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

这样被监控cluster 就可以被收集监控指标了;

2,配置 metricbeat

配置要收集的cluster 和 monitor ES 地址;

2.1 启用 elasticsearch-xpack module

bash 复制代码
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules enable elasticsearch-xpack    
Enabled elasticsearch-xpack
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules list
Enabled:
elasticsearch-xpack

2.2 配置要被监控的ES cluster

bash 复制代码
# 上面的命令执行后,可以配置 modules.d/elasticsearch-xpack.yml 了,向其中添加 elasticsearch module
# 由于没有开启 xpack, 无需配置 username 和 password
user@EBJ1214112 metricbeat-7.10.1-1 % cat modules.d/elasticsearch-xpack.yml

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-elasticsearch.html

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster1:9201"]
  scope: cluster
  #username: "user"
  #password: "secret"

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster2:9202"]
  scope: cluster
  #username: "user"
  #password: "secret"

2.3 配置 metricbeat.yml

metricbeat.yml 其中包含了 elasticsearch out 信息、展示监控指标kibana的地址

bash 复制代码
# cat metricbeat.yml

# ======================= Elasticsearch template setting =======================
# 用于向 monitor ES 发送 template 的配置
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
  #_source.enabled: false
  
# =================================== Kibana ===================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
# 向该kibana发送dashboard 信息
setup.kibana:
  host: "monitor:5601"

# ---------------------------- Elasticsearch Output ----------------------------
# 采集的监控数据将被收到下面的ES 中
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["monitor:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

2.4 启动 metricbeat

bash 复制代码
# 首先是预发执行:
# setup : 向kibana 发出dashboard ,还有向 ES 发出template
# 查看下面日志:
# 1, 定义的 ILM, 用于控制监控数据的大小,及时删除旧数据;
# 2, 向ES 发送了 template ,用于指导 index 的创建;
# 3, Kibana dashboards successfully loaded
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat setup -e
......
2024-01-06T17:59:07.978+0800	INFO	[index-management]	idxmgmt/std.go:261	Auto ILM enable success.
2024-01-06T17:59:07.986+0800	INFO	[index-management.ilm]	ilm/std.go:139	do not generate ilm policy: exists=true, overwrite=false
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:274	ILM policy successfully loaded.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:407	Set setup.template.name to '{metricbeat-7.10.1 {now/d}-000001}' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:412	Set setup.template.pattern to 'metricbeat-7.10.1-*' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:446	Set settings.index.lifecycle.rollover_alias in template to {metricbeat-7.10.1 {now/d}-000001} as ILM is enabled.
2024-01-06T17:59:07.987+0800	INFO	[index-management]	idxmgmt/std.go:450	Set settings.index.lifecycle.name in template to {metricbeat {"policy":{"phases":{"hot":{"actions":{"rollover":{"max_age":"30d","max_size":"50gb"}}}}}}} as ILM is enabled.
2024-01-06T17:59:07.991+0800	INFO	template/load.go:183	Existing template will be overwritten, as overwrite is enabled.
2024-01-06T17:59:08.175+0800	INFO	template/load.go:117	Try loading template metricbeat-7.10.1 to Elasticsearch
2024-01-06T17:59:08.430+0800	INFO	template/load.go:109	template with name 'metricbeat-7.10.1' loaded.
2024-01-06T17:59:08.430+0800	INFO	[index-management]	idxmgmt/std.go:298	Loaded index template.
2024-01-06T17:59:08.818+0800	INFO	[index-management]	idxmgmt/std.go:309	Write alias successfully generated.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
2024-01-06T17:59:08.818+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:09.083+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:10.880+0800	INFO	[add_cloud_metadata]	add_cloud_metadata/add_cloud_metadata.go:89	add_cloud_metadata: hosting provider type not detected.
2024-01-06T18:00:52.056+0800	INFO	instance/beat.go:815	Kibana dashboards successfully loaded.
Loaded dashboards


# 上面准备工作执行完成,就可以真正的采集数据了
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat -e
3,monitor ES

可以通过 kibana 查看ES 中的数据:

bash 复制代码
GET .monitoring-es-7-mb-2024.01.07/_search
{
  "size": 200, 
  "sort": [
    {
      "timestamp": {
        "order": "desc"
      }
    }
  ]
}

# 多次执行,发现数据有变动,说明数据已经已经存在了;
4,kibana

到目前为止,很顺利,我们在kibana 上看到了监控集群,但是点进去看一下详细信息的时候,发生了一下的提示,意思是由于被监控的集群的 license 是 basic ,所以不支持查看。

通过修改 metric 数据改变license 版本类型:

哈哈,license 变了,之后再聊怎么变的。

点进一个cluster ,可以看到监控了:

5,elasticsearch

由于 监控数据中保存了 原始集群的 license 信息,所以我们改一下就好;

bash 复制代码
# 保存监控数据index为 .monitoring-es-7-mb-2024.01.07
# 先为 license 添加mapping,使其可以被查询, 并可以改变
PUT /.monitoring-es-7-mb-2024.01.07/_mapping
{
  "properties": {
    "license": {
      "properties": {
        "type": {
          "type": "keyword"
        }
      }
    }
  }
}

# 定义 pipeline 用于改变 license 
PUT _ingest/pipeline/set-license
{
  "description" : "sets license",
  "processors" : [ {
      "set" : {
        "field": "license.type",
        "value": "platinum"  # 这里改为 铂金版
      }
  } ]
}

# 执行 更改数据 ,查到 license.type=basic 改为 license.type=platinum
POST .monitoring-es-7-mb-2024.01.07/_update_by_query?pipeline=set-license
{
  "query": {
    "term": {
      "license.type": {
        "value": "basic"
      }
    }
  }
}

上面的改变数据license需要考验手速,在 metricbeat period: 10s 之间改完,然后点进cluster 监控dashbard 进去就可以慢慢看了。

ToDo

上述的方案虽然能实现多ES集群的监控,但是由于需要拼手速是不完美的。改进的方案为

1, 另外起一个 进程不断地更新license.type 为 basic 为 platinum;

2,在monitor ES中安装一个 plugin : 其中定义 ActionFilter ,用于过滤 bulk index 的请求,改变其中的请求body ,将 license.type 为 basic 为 platinum (推荐,但有开发量,但不多)

相关推荐
小马爱打代码2 分钟前
Elasticsearch简介与实操
大数据·elasticsearch·搜索引擎
EasyNVR6 小时前
NVR管理平台EasyNVR多个NVR同时管理:全方位安防监控视频融合云平台方案
安全·音视频·监控·视频监控
java1234_小锋9 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
可观测性用观测云13 小时前
巧用观测云可用性监测(云拨测)
监控
梦幻通灵15 小时前
ES分词环境实战
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客15 小时前
Elasticsearch 中的热点以及如何使用 AutoOps 解决它们
大数据·运维·elasticsearch·搜索引擎·全文检索
小黑屋说YYDS21 小时前
ElasticSearch7.x入门教程之索引概念和基础操作(三)
elasticsearch
Java 第一深情1 天前
Linux上安装单机版ElasticSearch6.8.1
linux·elasticsearch·全文检索
KevinAha2 天前
Elasticsearch 6.8 分析器
elasticsearch
wuxingge2 天前
elasticsearch7.10.2集群部署带认证
运维·elasticsearch