k8s 收集event事件至Loki

🧭 前言

在生产环境中,Kubernetes 事件(Event)默认存储时间短、查询不便。通过将事件导出并存储在 Grafana Loki 中,我们可以长期保留、可视化和告警 Kubernetes 的运行状态变化,这对故障排查、调度优化、容量规划非常重要。本文档基于 loki-distributed 部署方式,详细介绍如何使用 kubernetes-event-exporter 获取事件,存入 Loki,并在 Grafana 中导入官方 Dashboard(ID:17882),快速形成监控产物。

✅ 前置条件

确保你已有以下环境:

  1. Kubernetes 集群正常运行

  2. loki-distributed 已部署完成,且可访问 Loki 对外网关

  3. Grafana 已部署,并配置了 Loki 作为 Data Source

📁 部署目录及清单

bash 复制代码
.
├── 00-roles.yaml        # RBAC 配置
├── 01-config.yaml       # event-exporter 配置
└── 02-deployment.yaml   # Deployment 配置

1️⃣ RBAC 权限配置(00-roles.yaml)

bash 复制代码
apiVersion: v1
kind: Namespace
metadata:
  name: monitoring
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: event-exporter
  namespace: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: event-exporter
rules:
  - apiGroups: ["*"]
    resources: ["*"]
    verbs: ["get","watch","list"]
  - apiGroups: ["coordination.k8s.io"]
    resources: ["leases"]
    verbs: ["*"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: event-exporter
subjects:
  - kind: ServiceAccount
    name: event-exporter
    namespace: monitoring

2️⃣ event-exporter 配置(01-config.yaml)

bash 复制代码
apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-config
  namespace: monitoring
data:
  config.yaml: |
    logLevel: debug
    logFormat: json
    metricsNamePrefix: event_exporter_
    sinks:
      loki:
        type: loki
        config:
          url: "http://loki-distributed-gateway.loki.svc.cluster.local:80/loki/api/v1/push"
    route:
      routes:
        - match:
            - receiver: "loki"

3️⃣ 部署 event-exporter(02-deployment.yaml)

bash 复制代码
apiVersion: apps/v1
kind: Deployment
metadata:
  name: event-exporter
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: event-exporter
      version: v1
  template:
    metadata:
      labels:
        app: event-exporter
        version: v1
      annotations:
        prometheus.io/scrape: 'true'
        prometheus.io/port: '2112'
        prometheus.io/path: '/metrics'
    spec:
      serviceAccountName: event-exporter
      securityContext:
        runAsNonRoot: true
        seccompProfile:
          type: RuntimeDefault
      containers:
        - name: event-exporter
          image: ghcr.io/resmoio/kubernetes-event-exporter:latest
          args:
            - -conf=/config/config.yaml
          volumeMounts:
            - name: config-volume
              mountPath: /config
          securityContext:
            allowPrivilegeEscalation: false
            capabilities:
              drop: [ALL]
      volumes:
        - name: config-volume
          configMap:
            name: event-exporter-config

4️⃣ 应用部署

bash 复制代码
kubectl apply -f 00-roles.yaml
kubectl apply -f 01-config.yaml
kubectl apply -f 02-deployment.yaml

确认 Pod 启动无误:

bash 复制代码
kubectl -n monitoring get pods -l app=event-exporter
kubectl -n monitoring logs deploy/event-exporter

kubectl  get pod -n monitoring  
NAME                              READY   STATUS    RESTARTS   AGE
event-exporter-6768f485cb-knx9v   1/1     Running   0          3h32m

5️⃣ Grafana 配置与 Dashboard 导入

  1. 添加 Loki 数据源

  2. Grafana → Settings → Data Sources → Add → Loki

  3. URL 填写:http://<loki-gateway-service>:80,测试连接

  4. 导入 Dashboard

  5. Grafana → "+" → Import → 输入 Dashboard ID:17882

  6. 选择刚配置的 Loki Data Source,完成导入

6️⃣ 验证与查询示例

  • 直接在 Grafana → Explore 中查询:
bash 复制代码
{app="event-exporter"} | json
  • 示例查询错误事件数并填补零值:
bash 复制代码
sum(count_over_time({app="event-exporter"} | json | reason="Failed"[$__interval])) or 0

📚 参考资料

  • 官方 GitHub:resmoio/kubernetes-event-exporter

  • Dashboard ID:17882 Kubernetes Event Exporter

  • Loki 文档:loki-distributed 模式说明(Simple Scalable)


✅ 小结

通过本文档,你将实现一个完整方案:监听 Kubernetes Event → event-exporter 将其推入 loki-distributed → Grafana 导入 Dashboard 可视化事件信息。可进一步优化包括消息过滤、报警告警及多集群统一事件收集。如需示例 Helm values 或 Kustomize 器,随时告诉我!

相关推荐
如夏倾城9 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Z21-X10 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
分布式存储与RustFS12 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
分布式存储与RustFS13 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
mengge.cloud16 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
阿里云云原生1 天前
阿里云 AI 网关 x 联想百应:构建 Token Plan 平台&词元宝 Token Key 产品,让模型服务走向规模化运营
云原生
阿里云云原生1 天前
基于阿里云 AgentLoop 构建 Agent 进化数据飞轮闭环,让线上 Trace 沉淀为可复用经验
云原生
分布式存储与RustFS1 天前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
阿里云云原生2 天前
AgentScope Durable:让企业 Agent 持续、可靠地运行
云原生
Eyfcom2 天前
〖物流云原生实战 05〗Service Mesh 在快递系统微服务治理中的应用:从“代码侵入”到“基础设施下沉”
微服务·云原生·service_mesh·快递系统·物流云原生实战