使用 Grafana 展示多个TiDB集群的告警

作者: yangzhj 原文来源: https://tidb.net/blog/229e283c

背景

在日常运维工作中,我们有时需要将多个生产集群的告警信息展示在一起,统一集中观察和分析TiDB 集群的告警情况。

本文将通过 Grafana 的多数据源功能来将多个TiDB 集群的 emergency级别的告警信息展示到一张 Grafana Dashboard 中。

实现过程示例

首先需要选择某个集群的 grafana 创建 Dashboard。

创建dashboard

创建panel

配置panel

添加其他tidb集群的数据源

在面板中增加其他数据源的监控指标

添加其他监控指标的面板

其他监控指标面板的方式与上述示例相同,不再重复描述。

示例Dashboard配置

JSON 复制代码
{
  "annotations": {
    "list": [
      {
        "builtIn": 1,
        "datasource": "-- Grafana --",
        "enable": true,
        "hide": true,
        "iconColor": "rgba(0, 211, 255, 1)",
        "name": "Annotations & Alerts",
        "type": "dashboard"
      }
    ]
  },
  "editable": true,
  "gnetId": null,
  "graphTooltip": 0,
  "id": 27,
  "links": [],
  "panels": [
    {
      "datasource": "-- Mixed --",
      "description": "",
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 10,
            "gradientMode": "none",
            "hideFrom": {
              "graph": false,
              "legend": false,
              "tooltip": false
            },
            "lineInterpolation": "stepAfter",
            "lineStyle": {
              "fill": "solid"
            },
            "lineWidth": 1,
            "pointSize": 4,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "always",
            "spanNulls": true
          },
          "mappings": [
            {
              "from": "",
              "id": 1,
              "text": "告警中",
              "to": "",
              "type": 1,
              "value": "1"
            }
          ],
          "max": 1,
          "min": 0,
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "short"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 6,
        "w": 12,
        "x": 0,
        "y": 0
      },
      "id": 2,
      "options": {
        "graph": {},
        "legend": {
          "calcs": [
            "lastNotNull"
          ],
          "displayMode": "table",
          "placement": "right"
        },
        "tooltipOptions": {
          "mode": "multi"
        }
      },
      "pluginVersion": "7.5.11",
      "targets": [
        {
          "datasource": "test657",
          "exemplar": false,
          "expr": "ALERTS{alertname=\"TiDB_server_is_down\"}",
          "instant": false,
          "interval": "",
          "legendFormat": "test657-{{alertstate}}",
          "queryType": "randomWalk",
          "refId": "A"
        },
        {
          "datasource": "onemirror657",
          "exemplar": true,
          "expr": "ALERTS{alertname=\"TiDB_server_is_down\"}",
          "format": "time_series",
          "hide": false,
          "instant": false,
          "interval": "",
          "legendFormat": "onemirror657-{{alertstate}}",
          "refId": "B"
        }
      ],
      "timeFrom": null,
      "timeShift": null,
      "title": "TiDB_server_is_down",
      "type": "timeseries"
    }
  ],
  "refresh": false,
  "schemaVersion": 27,
  "style": "dark",
  "tags": [],
  "templating": {
    "list": []
  },
  "time": {
    "from": "now-3h",
    "to": "now"
  },
  "timepicker": {},
  "timezone": "",
  "title": "New dashboard Copy",
  "uid": "RPbLfznHk",
  "version": 5
}

询问AI

相关推荐
龙腾AI白云几秒前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
ClouGence10 分钟前
DBeaver太重,Navicat付费?试试这4款好用的开源数据库管理工具!
数据库·开源
心之王者71618 分钟前
Linux 进程信号:从产生、阻塞到捕捉与子进程回收
linux·服务器·网络
AndreaYYmm39 分钟前
日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
linux·shell
manageengine44 分钟前
服务器 CPU 100% 怎么排查:8 条命令从现象定位到根因
运维·服务器·cpu
字节跳动数据库1 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端
SelectDB1 小时前
多模态检索用什么数据库?向量、全文与 SQL 混合检索选型指南
数据库
赤生云电竞1 小时前
云游戏边缘节点部署:机房选址与网络拓扑优化实践 —— 从80ms时延预算看节点落位与Spine-Leaf组网
服务器·游戏·spine
爱吃香菜的初学者1 小时前
二十五.Linux——epoll
linux·运维·服务器
少司府2 小时前
嵌入式外设篇(一)GPIO·一:认识GPIO
linux·单片机·嵌入式硬件·mcu·系统·rtos·嵌入式软件