Terraform多环境部署:模块化配置一次搞定

Prometheus通过自定义告警规则和Grafana可视化,可实现监控数据实时展示与异常告警,核心步骤包括规则配置、Alertmanager集成和Grafana面板设计。

一、自定义Prometheus告警规则

1. 规则文件结构(以CPU使用率告警为例)
复制代码
yaml

groups: - name: server_alerts # 规则组名称 rules: - alert: HighCPUUsage # 告警名称 expr: avg(rate(node_cpu_seconds_total{mode!="idle"}[5m])) by (instance) > 0.8 # PromQL表达式,5分钟内CPU使用率平均值>80% for: 2m # 持续2分钟满足条件触发告警 labels: severity: warning # 告警级别(warning/critical) annotations: summary: "实例 {``{ $labels.instance }} CPU使用率过高" description: "CPU使用率持续2分钟超过80%,当前值: {``{ $value | humanizePercentage }}" # 格式化显示百分比

2. 配置Prometheus加载规则

在prometheus.yml中添加规则文件路径:

复制代码
yaml

rule_files: - "alert_rules.yml" # 规则文件路径(支持通配符如alert_*.yml)

3. 重启Prometheus使规则生效
复制代码
bash

# Docker部署方式 docker restart prometheus # 二进制部署方式 kill -HUP $(pidof prometheus) # 热重启,不中断服务

二、配置Alertmanager(告警通知管理)

1. 安装Alertmanager
复制代码
bash

# 下载并解压 wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz tar xvfz alertmanager-0.25.0.linux-amd64.tar.gz cd alertmanager-0.25.0.linux-amd64

2. 配置告警通知(以邮件为例)

编辑alertmanager.yml:

复制代码
yaml

global: resolve_timeout: 5m # 告警解决后5分钟发送恢复通知 route: group_by: ['alertname'] # 按告警名称分组 group_wait: 10s # 组内第一个告警触发后等待10s再发送 receiver: 'email' # 默认接收者 receivers: - name: 'email' email_configs: - to: 'admin@example.com' from: 'alert@example.com' smarthost: 'smtp.example.com:587' auth_username: 'alert@example.com' auth_password: 'your_password' send_resolved: true # 发送告警恢复通知

3. 启动Alertmanager并关联Prometheus
复制代码
bash

# 启动Alertmanager ./alertmanager --config.file=alertmanager.yml # 在prometheus.yml中配置Alertmanager地址 alerting: alertmanagers: - static_configs: - targets: ['localhost:9093'] # Alertmanager默认端口9093

三、Grafana可视化告警指标

1. 添加Prometheus数据源
  • 登录Grafana(默认地址http://localhost:3000,账号admin/admin)。
  • 左侧菜单 Configuration → Data Sources → Add data source → Prometheus。
  • 输入Prometheus地址(如http://localhost:9090),点击 Save & Test。
2. 创建告警指标面板
  • 新建Dashboard,添加Panel,选择 Prometheus 数据源。

  • 输入PromQL查询:avg(rate(node_cpu_seconds_total{mode!="idle"}[5m])) by (instance),绘制CPU使用率曲线。

  • 在 Alert 标签页配置Grafana本地告警(可选,与Prometheus告警互补)。

四、测试告警流程

  1. 模拟高CPU负载 :

    复制代码
    bash

    stress --cpu 4 --timeout 300 # 用stress工具使CPU使用率飙升

  2. 查看告警状态 :

    • Prometheus UI(http://localhost:9090/alerts)查看告警触发状态。

    • 检查邮箱是否收到Alertmanager发送的告警通知。

相关推荐
阿里云云原生4 小时前
决策模型 Jev 可以直接上生产?用实验和公式理解 logit 调优与训练要领
云原生
AllData公司负责人5 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
Eyfcom13 小时前
〖物流云原生实战 02〗Serverless 在物流峰值场景的弹性调度:如何用“无服务器”抗住大促洪峰?
云原生·serverless·快递系统·快递软件·物流云原生实战
分布式存储与RustFS13 小时前
不用 Spark 也能建 Iceberg 表:用 PyIceberg 把表直接落到 RustFS S3 Tables
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Star(up up up)1 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
分布式存储与RustFS1 天前
Terraform 状态文件老在本地丢、并发还撞锁:把 state 锁进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
对象存储与RustFS1 天前
Jenkins 的构建产物别堆在控制器磁盘:用 RustFS 当它的 S3 工件仓库
后端·docker·云原生
罗小爬EX2 天前
Helm 从概念到实战:以一个普通 Web 应用为例
云原生·helm
分布式存储与RustFS2 天前
镜像仓库的层别只堆本地盘:用 RustFS 给 Harbor 当 S3 后端
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
分布式存储与RustFS3 天前
工作流脚本和依赖 JAR 散在各节点本地盘:用 DolphinScheduler 资源中心接到 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准