Kafka 可观测性最佳实践

Kafka 概述

Kafka 是由 LinkedIn 开发一个分布式的基于发布订阅模式的消息队列，是一个实时数据处理系统，可以横向扩展。与 RabbitMQ、RockerMQ 等中间件一样拥有几大特点：

异步处理
服务解耦
流量削峰

监控 Kafka 是非常重要的，因为它可以帮助我们确保消息系统的稳定性、可用性、性能和可靠性。以下是监控 Kafka 的一些关键原因：

保证消息传递的可靠性：Kafka 作为一个分布式流处理平台，其核心价值在于可靠地存储和传递消息。监控可以帮助我们及时发现和解决数据丢失或重复的问题。
维护服务的高可用性：Kafka 通过副本机制来实现高可用性。监控副本同步状态和领导者选举，可以确保在节点故障时，相关的分区能够快速进行领导者选举，最小化服务中断。
优化性能：通过监控 Kafka 的性能指标，比如吞吐量、延迟和磁盘I/O，我们可以对 Kafka 集群进行调优，确保它在高负载下依然能够保持高性能。
容量规划：监控可以帮助我们理解数据增长的趋势，预测未来的存储需求，从而进行合理的容量规划，避免存储空间不足的情况发生。
故障排除：当系统出现问题时，监控系统提供的历史数据和实时数据对于快速定位问题原因非常关键。
遵守 SLA：对于需要遵守服务等级协议（SLA）的生产系统，监控可以帮助我们确保 Kafka 服务满足这些协议的要求。
安全审计：监控还可以涉及到安全层面，比如监控未授权访问的尝试，确保系统的安全性。
业务洞察：通过对消息内容的监控和分析，可以为业务决策提供数据支持，比如通过分析消息流量来优化业务流程。

观测云

观测云采集器 DataKit 提供 kafka 指标和日志的观测能力，配置 DataKit 采集 Kafka 指标和日志上报到观测云，帮助你监控分析 Kafka 性能表现以及各种异常情况。

操作步骤

地址：https://docs.guance.com/datakit/datakit-install/

git clone https://github.com/GuanceCloud/datakit.git

前置条件

安装或下载 Jolokia： https://search.maven.org/remotecontent?filepath=org/jolokia/jolokia-jvm/1.6.2/jolokia-jvm-1.6.2-agent.jar 。

DataKit 安装目录下的 data 目录中已经有下载好的 Jolokia jar 包，可先下载安装 DataKit 。

Jolokia 是作为 Kafka 的 Java agent，基于 HTTP 协议提供了一个使用 JSON 作为数据格式的外部接口，提供给 DataKit 使用。Kafka 启动时，先配置 KAFKA_OPTS 环境变量：(port 可根据实际情况修改成可用端口）

export KAFKA_OPTS="$KAFKA_OPTS -javaagent:/usr/local/datakit/data/jolokia-jvm-agent.jar=host=*,port=8080"

另外，也可以单独启动 Jolokia，将其指向 Kafka 进程 PID：

java -jar </path/to/jolokia-jvm-agent.jar> --host 127.0.0.1 --port=8080 start

采集器配置

进入 DataKit 安装目录下的 conf.d/db 目录，复制 kafka.conf.sample 并命名为 kafka.conf 。

指标采集（主机模式）

bash 复制代码

[[inputs.kafka]]
  # default_tag_prefix      = ""
  # default_field_prefix    = ""
  # default_field_separator = "."

  # username = ""
  # password = ""
  # response_timeout = "5s"

  ## Optional TLS config
  # tls_ca   = "/var/private/ca.pem"
  # tls_cert = "/var/private/client.pem"
  # tls_key  = "/var/private/client-key.pem"
  # insecure_skip_verify = false

  ## Monitor Interval
  # interval   = "60s"

  # Add agents URLs to query
  urls = ["http://localhost:8080/jolokia"]
   ......

主要是调整 urls ，配置好后，重启 DataKit 即可。

日志采集

采集 Kafka 的日志，可在 kafka.conf 中将 files 打开，并写入 kafka 日志文件的绝对路径。比如：

bash 复制代码

[[inputs.kafka]]
  ...
  [inputs.kafka.log]
    files = ["/usr/local/var/log/kafka/error.log","/usr/local/var/log/kafka/kafka.log"]

开启日志采集以后，默认会产生日志来源（source）为 kafka 的日志，切割日志示例：