聊点基础的,关于监控,关于告警(prometheus—+grafana+夜莺如何丝滑使用?)

事情的起因是这样的,昨天又群友在群里咨询一个关于grafana和prometheus配置文件的用法,整了半天也没回复,正好知道就帮了一把,今天整理成文章,希望帮到更多的朋友

大致问题的话就是图里面提到的几个,其实都是一些日常的用法了!!

先来看下,我们目前生产的一个示例,可以根据不同的维度去筛选:

上面有两个同学有问题,一个是如何实现筛选?还有就是prometheus的配置文件如何配置?

要能够筛选,第一步是需要配置文件修改,先得给不同的主机打标签

这里给出我们生产的配置文件作为参考:

prometheus主配置文件:

  - job_name: linux
    file_sd_configs:
    - refresh_interval: 1m
      files:
      - config_exporter.json
    relabel_configs:
      - source_labels: [__address__]
        regex: (.*):(\d+)
        target_label: instance
        replacement: $1

关于主机信息的配置在如下配置文件中"config_exporter.json"

{
    "targets" : ["ip1:9100"],
    "labels": {
      "env": "stg"
   }
  },
{
    "targets" : ["ip2:9100"],
    "labels": {
      "env": "prd"
   }
  }
]

打了标签之后就可以在prometheus中根据env做筛选了

然后你要在grafana中配置,可以根据需要去调整:

然后就解决了:

除了上面的内容外,也介绍下另外一个内容

不知道大家目前的日志监控是怎么做的?是用的kibana的插件?还是elasalert?或者是其它的方式

因为我们用的是elk是8.0版本的,所以一些插件目前无法使用,elasalert调研了下也不是很理想,所以索性自己写了个脚本,大致的思路是

脚本根据配置的关键字策略去elk中查找--然后生成prometheus的指标--通过夜莺去告警

prometheus中数据如下

然后就可以根据实际业务需要配置具体的告警策略了,关于告警配置啥的之前的文章都有介绍过,可以去翻下。

关于日志监控部分代码如下可以参考.写的很粗糙,也有一些问题:

from elasticsearch import Elasticsearch
from prometheus_client import Counter, start_http_server,Gauge
import time
import json
from datetime import datetime,timedelta

# Elasticsearch 配置
ELASTICSEARCH_HOST = ""
ELASTICSEARCH_PORT = 9200
ELASTICSEARCH_USER = "elastic"
ELASTICSEARCH_PASSWORD = ""


# Prometheus 监控指标
ERRORS = Gauge("elk_errors", "Number of errors in logs", ["index", "term"])

# Elasticsearch 实例化
es = Elasticsearch(
    [f"https://{ELASTICSEARCH_HOST}:{ELASTICSEARCH_PORT}"],
    http_auth=(ELASTICSEARCH_USER, ELASTICSEARCH_PASSWORD),
    ca_certs = './http_ca.crt',
    verify_certs=True
)

def load_config():
    with open(config_file, "r", encoding='utf-8') as f:
        config_data = f.read()
        config = eval(config_data)  # 将字符串转换为字典
        return config


# 定时执行 Elasticsearch 查询并更新 Prometheus 监控指标
def update_metrics():
    for index in ES_QUERY.keys():
        for term in ES_QUERY.get(index):
            print (index)
            if term.startswith("not "):
                query = {
                    "query": {
                        "bool": {
                            "must": [{"match_phrase": {"message":term.split()[1]}}],
                            "must_not":[{"match_phrase": {"message":term.split()[2]}}],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m","lte": "now"}}}
    
                        }
                    }
                         
                }
            elif index.startswith("nginx"):
                query = {
                    "query": {
                        "bool": {
                            "must": [
                                {"match_phrase": {"app_name": term.split()[0]}},
                                {"range": {"status": {"gte": term.split()[1], "lt": term.split()[2]}}}
                            ],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m", "lte": "now"}}}

                        }
                    }
                }                
            else:
                query = {
                    "query": {
                        "bool": {
                            "must": [
                                {"match_phrase": {"message":term.split()[0]}},
                                {"match_phrase": {"message":term.split()[1]}}
                                ],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m","lte": "now"}}}
    
                        }
                    }
                         
                }
            try:
                res = es.search(index=index, body=query)

                ERRORS.labels(index, term).set(res["hits"]["total"]["value"])
            except Exception as e:
                # 处理异常情况
                print("Elasticsearch search error:", e)

# 启动 Prometheus HTTP 服务器并定时执行 Elasticsearch 查询
if __name__ == "__main__":
    start_http_server(8001)
    while True:
        today = datetime.now().strftime("%Y.%m.%d")
        yesterday = datetime.now() - timedelta(days=1)
        yesterday_str = yesterday.strftime("%Y.%m.%d")
        ES_QUERY = load_config()
        new_config = load_config()
        if ES_QUERY != new_config:  # 如果新配置和旧配置不一样,则更新变量值
            print("Config updated:", new_config)
            ES_QUERY = new_config
        update_metrics()
        time.sleep(60)
相关推荐
努力变厉害的小超超37 分钟前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙
aloha_7895 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws6 小时前
Linux学习笔记之vim入门
linux·笔记·学习
A-超8 小时前
vue3展示pag格式动态图
笔记
u0101526589 小时前
STM32F103C8T6学习笔记2--LED流水灯与蜂鸣器
笔记·stm32·学习
weixin_518285059 小时前
深度学习笔记10-多分类
人工智能·笔记·深度学习
丘狸尾9 小时前
ubuntu【桌面】 配置NAT模式固定IP
笔记
王俊山IT10 小时前
C++学习笔记----10、模块、头文件及各种主题(二)---- 预处理指令
开发语言·c++·笔记·学习
慕卿扬10 小时前
基于python的机器学习(二)—— 使用Scikit-learn库
笔记·python·学习·机器学习·scikit-learn
齐 飞12 小时前
MongoDB笔记02-MongoDB基本常用命令
前端·数据库·笔记·后端·mongodb