监控面板全绿但用户说网站打不开？Prometheus+Blackbox从外部验证服务真实可用性

前言

运维过程中遇到过这种情况：Prometheus监控面板一片绿，所有指标看起来都正常，结果用户反馈网站打不开、API返回502、支付接口超时。查了一圈才发现问题是服务进程还在跑但网络不通、负载均衡后端已经挂了、DNS解析出了问题------这些情况都不会反映在应用内部暴露的指标里，监控显示一切正常但用户实际用不了。

这就是纯白盒监控的盲区：它只能告诉你"服务内部是什么状态"，不能告诉你"用户能不能访问到这个服务"。网络是否可达、端口是否开放、域名是否解析正确，这些外部可见性的问题白盒监控覆盖不到。等用户发现打不开了再处理，响应就已经慢了半拍。

Blackbox Exporter是Prometheus官方提供的黑盒监控组件，核心逻辑是从外部主动探测目标服务的可达性，支持HTTP/HTTPS协议检测、TCP端口探测、ICMP ping、DNS解析验证等多种方式。探测结果会生成探针成功率、响应时间、SSL证书有效期等指标，写入Prometheus后可以用Grafana做可视化看板，也可以配置告警规则。

结合Prometheus本身的监控体系，黑盒监控补上了外网可用性这一层：内部指标看资源消耗和业务逻辑，外部探测看用户实际能不能访问到。两个维度加起来才能说"服务真的在线"。部署过程不复杂，Blackbox Exporter本身是一个独立进程跑在固定端口上，Prometheus端配置好scrape任务和relabel规则就能拉数据。

1.ubuntu安装Blackbox_Exporter监控数据

通过以下命令创建一个用于存放Blackbox_Exporter的目录 /app：

shell 复制代码

mkdir /app

进入到/app目录下：

shell 复制代码

cd /app

从prometheus官网下载压缩文件：https://prometheus.io/download/

下载适用于Linux系统的文件。

下载完成后记住下载路径。

手动上传到/app下载好的Blackbox_Exporter文件。

上传成功后解压：

shell 复制代码

tar -zxvf blackbox_exporter-0.27.0.linux-arm64.tar.gz

改名方便记忆：

shell 复制代码

mv blackbox_exporter-0.27.0.linux-arm64 blackbox_exporter

将Altermanager配置为系统服务:

shell 复制代码

cd /usr/lib/systemd/system

shell 复制代码

vim blackbox_exporter.service

shell 复制代码

[Unit]
Description=https://prometheus.io

[Service]
Restart=on-failure
ExecStart=/app/alertmanager --config.file=/app/alertmanager.yml

[Install]                      
WantedBy=multi-user.target

加载system文件，启动alertmanager这个服务，并设置开机启动：

shell 复制代码

systemctl daemon-reload
systemctl start blackbox_exporter.service
systemctl enable blackbox_exporter.service

启动成功后，访问blackbox_exporter，ip+9115，默认端口为 9115。

2.配置prometheus监控Blackbox_Exporter指标

服务进程正常，用户却连不上？问题可能出在网络层。

通过 Prometheus + Blackbox Exporter 的 ping 探测，我们可以实时监控丢包率------一旦超过 50%，立即告警，提前发现链路异常，防患于未然。

跟我一起操作吧~

以防万一怕操作错误，先把原来的配置文件先备份，之后配置配置文件：

shell 复制代码

mv blackbox.yml blackbox.yml
vi blackbox.yml

shell 复制代码

modules:
  http_2xx:
    prober: http
  http_post_2xx:
    prober: http
    http:
      method: POST
  tcp_connect:
    prober: tcp
  pop3s_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^+OK"
      tls: true
      tls_config:
        insecure_skip_verify: false
  ssh_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^SSH-2.0-"
  irc_banner:
    prober: tcp
    tcp:
      query_response:
      - send: "NICK prober"
      - send: "USER prober prober prober :prober"
      - expect: "PING :([^ ]+)"
        send: "PONG ${1}"
      - expect: "^:[^ ]+ 001"
  icmp:
    prober: icmp
  icmp:
    prober: icmp
    timeout: 5s
    icmp:
      preferred_ip_protocol: "ip4"

重新启动black_exporter服务：

shell 复制代码

systemctl restart blackbox_exporter.service

修改prometheus配置文件：

shell 复制代码

vi prometheus.yml

添加告警配置（添加自己想监控的地址）：

shell 复制代码

  - job_name: "http"
    metrics_path: /probe
    scrape_interval: 60s
    params:
      module: [http_2xx]
    static_configs:
      - targets:
        - http://192.168.50.134:9100/
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address
        replacement: 192.168.50.134:9115

  - job_name: 'ping_monitor'
    metrics_path: /probe
    params:
      module: [icmp]
    static_configs:
      - targets:
        - www.baidu.com
        - www.google.com
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.168.50.134:9115

重启prometheus服务后，可以查看到我们添加的指标;

配置告警规则：

shell 复制代码

groups:
  - name: icmp-loss-alerts
    rules:
      - alert: HighPingLossRate
        expr: |
          1 - avg_over_time(probe_success{job="ping_monitor"}[5m]) > 0.5
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "高 Ping 丢包率 (实例: {{ $labels.instance }})"
          description: "目标 {{ $labels.instance }} 在过去 5 分钟内的 Ping 丢包率超过 50%（当前丢包率: {{ $value | printf \"%.2f\" }}）"