使用metricbeat 监控多ES集群

背景

ES 本身自带 监控,属于xpack 中的内容,为商业版,需要收费;

并且 monitor 功能必须要在security开启后才能使用,还有就是集群监控自己,将采集到的性能数据保存到本集群,这是一个比较差的设计方式,因为对于生产集群,它不得不为监控提供额外的资源;还有就是集群故障之后,监控数据不可见,在集群恢复之前,无法查看监控数据;

metricbeat

Metricbeat是一个轻量级的托运程序,可以安装在服务器上,定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据,并将它们发送到您指定的输出,例如Elasticsearch或Logstash。

Metricbeat 本身可以向kibana 发送dashboard 的模板,用于kibana 的对监控信息的图形化展示;

Kibana

Kibana是Elasticsearch的官方UI工具,它提供了强大的可视化和搜索功能,可以用于监控和调优Elasticsearch集群。Kibana提供了许多内置的仪表盘和可视化组件,可以用来展示Elasticsearch的性能指标、日志和事件数据等。开发者和运维人员可以使用Kibana来监控集群的健康状况、索引状态、搜索响应时间等。

架构

  1. 部署单独用于保存监控数据的ES 集群(单节点也是可以的) + 用于展示监控数据的 kibana;

  2. 一个 metricbeat 用于收集所有的 被监控的ES 集群;(也可以一个ES cluster 一个对应的metricbeat,这样更改一个的配置就不影响其他的信息收集)

  3. 被监控的cluster 需要开启相关配置,允许被采集监控信息;(目前是在全部相同的ES 版本上采集,对于要监控的cluster ES 版本不同的情况未测试)

实现步骤

1, 配置被监控的cluster

配置启动收集监控数据

在 elasticsearch.yml 添加 xpack.monitoring.collection.enabled: true

也可以在 kibana 中执行:

bash 复制代码
PUT /_cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

这样被监控cluster 就可以被收集监控指标了;

2,配置 metricbeat

配置要收集的cluster 和 monitor ES 地址;

2.1 启用 elasticsearch-xpack module

bash 复制代码
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules enable elasticsearch-xpack    
Enabled elasticsearch-xpack
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules list
Enabled:
elasticsearch-xpack

2.2 配置要被监控的ES cluster

bash 复制代码
# 上面的命令执行后,可以配置 modules.d/elasticsearch-xpack.yml 了,向其中添加 elasticsearch module
# 由于没有开启 xpack, 无需配置 username 和 password
user@EBJ1214112 metricbeat-7.10.1-1 % cat modules.d/elasticsearch-xpack.yml

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-elasticsearch.html

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster1:9201"]
  scope: cluster
  #username: "user"
  #password: "secret"

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster2:9202"]
  scope: cluster
  #username: "user"
  #password: "secret"

2.3 配置 metricbeat.yml

metricbeat.yml 其中包含了 elasticsearch out 信息、展示监控指标kibana的地址

bash 复制代码
# cat metricbeat.yml

# ======================= Elasticsearch template setting =======================
# 用于向 monitor ES 发送 template 的配置
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
  #_source.enabled: false
  
# =================================== Kibana ===================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
# 向该kibana发送dashboard 信息
setup.kibana:
  host: "monitor:5601"

# ---------------------------- Elasticsearch Output ----------------------------
# 采集的监控数据将被收到下面的ES 中
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["monitor:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

2.4 启动 metricbeat

bash 复制代码
# 首先是预发执行:
# setup : 向kibana 发出dashboard ,还有向 ES 发出template
# 查看下面日志:
# 1, 定义的 ILM, 用于控制监控数据的大小,及时删除旧数据;
# 2, 向ES 发送了 template ,用于指导 index 的创建;
# 3, Kibana dashboards successfully loaded
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat setup -e
......
2024-01-06T17:59:07.978+0800	INFO	[index-management]	idxmgmt/std.go:261	Auto ILM enable success.
2024-01-06T17:59:07.986+0800	INFO	[index-management.ilm]	ilm/std.go:139	do not generate ilm policy: exists=true, overwrite=false
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:274	ILM policy successfully loaded.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:407	Set setup.template.name to '{metricbeat-7.10.1 {now/d}-000001}' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:412	Set setup.template.pattern to 'metricbeat-7.10.1-*' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:446	Set settings.index.lifecycle.rollover_alias in template to {metricbeat-7.10.1 {now/d}-000001} as ILM is enabled.
2024-01-06T17:59:07.987+0800	INFO	[index-management]	idxmgmt/std.go:450	Set settings.index.lifecycle.name in template to {metricbeat {"policy":{"phases":{"hot":{"actions":{"rollover":{"max_age":"30d","max_size":"50gb"}}}}}}} as ILM is enabled.
2024-01-06T17:59:07.991+0800	INFO	template/load.go:183	Existing template will be overwritten, as overwrite is enabled.
2024-01-06T17:59:08.175+0800	INFO	template/load.go:117	Try loading template metricbeat-7.10.1 to Elasticsearch
2024-01-06T17:59:08.430+0800	INFO	template/load.go:109	template with name 'metricbeat-7.10.1' loaded.
2024-01-06T17:59:08.430+0800	INFO	[index-management]	idxmgmt/std.go:298	Loaded index template.
2024-01-06T17:59:08.818+0800	INFO	[index-management]	idxmgmt/std.go:309	Write alias successfully generated.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
2024-01-06T17:59:08.818+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:09.083+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:10.880+0800	INFO	[add_cloud_metadata]	add_cloud_metadata/add_cloud_metadata.go:89	add_cloud_metadata: hosting provider type not detected.
2024-01-06T18:00:52.056+0800	INFO	instance/beat.go:815	Kibana dashboards successfully loaded.
Loaded dashboards


# 上面准备工作执行完成,就可以真正的采集数据了
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat -e
3,monitor ES

可以通过 kibana 查看ES 中的数据:

bash 复制代码
GET .monitoring-es-7-mb-2024.01.07/_search
{
  "size": 200, 
  "sort": [
    {
      "timestamp": {
        "order": "desc"
      }
    }
  ]
}

# 多次执行,发现数据有变动,说明数据已经已经存在了;
4,kibana

到目前为止,很顺利,我们在kibana 上看到了监控集群,但是点进去看一下详细信息的时候,发生了一下的提示,意思是由于被监控的集群的 license 是 basic ,所以不支持查看。

通过修改 metric 数据改变license 版本类型:

哈哈,license 变了,之后再聊怎么变的。

点进一个cluster ,可以看到监控了:

5,elasticsearch

由于 监控数据中保存了 原始集群的 license 信息,所以我们改一下就好;

bash 复制代码
# 保存监控数据index为 .monitoring-es-7-mb-2024.01.07
# 先为 license 添加mapping,使其可以被查询, 并可以改变
PUT /.monitoring-es-7-mb-2024.01.07/_mapping
{
  "properties": {
    "license": {
      "properties": {
        "type": {
          "type": "keyword"
        }
      }
    }
  }
}

# 定义 pipeline 用于改变 license 
PUT _ingest/pipeline/set-license
{
  "description" : "sets license",
  "processors" : [ {
      "set" : {
        "field": "license.type",
        "value": "platinum"  # 这里改为 铂金版
      }
  } ]
}

# 执行 更改数据 ,查到 license.type=basic 改为 license.type=platinum
POST .monitoring-es-7-mb-2024.01.07/_update_by_query?pipeline=set-license
{
  "query": {
    "term": {
      "license.type": {
        "value": "basic"
      }
    }
  }
}

上面的改变数据license需要考验手速,在 metricbeat period: 10s 之间改完,然后点进cluster 监控dashbard 进去就可以慢慢看了。

ToDo

上述的方案虽然能实现多ES集群的监控,但是由于需要拼手速是不完美的。改进的方案为

1, 另外起一个 进程不断地更新license.type 为 basic 为 platinum;

2,在monitor ES中安装一个 plugin : 其中定义 ActionFilter ,用于过滤 bulk index 的请求,改变其中的请求body ,将 license.type 为 basic 为 platinum (推荐,但有开发量,但不多)

相关推荐
Elastic 中国社区官方博客7 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
Shenqi Lotus14 小时前
ELK-ELK基本概念_ElasticSearch的配置
elk·elasticsearch
yeye1989122415 小时前
10-Query & Filtering 与多字符串多字段查询
elasticsearch
Narutolxy17 小时前
精准优化Elasticsearch:磁盘空间管理与性能提升技巧20241106
大数据·elasticsearch·jenkins
谢小涛2 天前
ES管理工具Cerebro 0.8.5 Windows版本安装及启动
elasticsearch·es·cerebro
LKID体2 天前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
晨欣2 天前
Elasticsearch里的索引index是什么概念?(ChatGPT回答)
大数据·elasticsearch·jenkins
许苑向上2 天前
最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)
java·数据库·spring boot·elasticsearch
笔墨登场说说2 天前
git sonar maven 配置
大数据·elasticsearch·搜索引擎
Pioneer000012 天前
Elasticsearch实战应用:构建高效的全文搜索引擎
大数据·elasticsearch