Kafka日志记录

测试如下:

bash 复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:Probing node bootstrap-0 broker version
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:Broker version identified as 2.5.0
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
View Event - IP Address: 115.238.48.67, Post ID: 1, Event Type: view, Created At: 2024-11-01T20:12:22.285797

这些日志条目详细记录了 Kafka 生产者与 Kafka 集群之间的连接和通信过程。下面是对每个日志条目的解释:

1. 连接到 Kafka 集群

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到 Kafka 集群中的 bootstrap-0 节点,该节点的地址是 110.40.130.231:9092

2. 探测 Kafka 节点版本

复制代码
INFO:kafka.conn:Probing node bootstrap-0 broker version
  • 解释 :Kafka 客户端正在探测 bootstrap-0 节点的 Kafka 版本,以确定其支持的 API 版本。

3. 连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到 bootstrap-0 节点。

4. 确定 Kafka 版本

复制代码
INFO:kafka.conn:Broker version identified as 2.5.0
  • 解释 :Kafka 客户端已经确定 bootstrap-0 节点的 Kafka 版本为 2.5.0

5. 设置 API 版本

复制代码
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
  • 解释 :Kafka 客户端设置 API 版本为 (2, 5, 0),并在后续连接中跳过自动版本检查请求,以提高性能。

6. 连接到实际的 Kafka 节点

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到实际的 Kafka 节点 node_id=0,该节点的地址也是 110.40.130.231:9092

7. 实际节点连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到实际的 Kafka 节点 node_id=0

8. 关闭 bootstrap-0 连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与 bootstrap-0 节点的连接,因为已经成功连接到实际的 Kafka 节点 node_id=0

9. 关闭 Kafka 生产者

复制代码
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
  • 解释 :Kafka 生产者正在关闭,超时时间为 9223372036.0 秒(实际上是无限超时)。

10. 关闭实际节点连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与实际 Kafka 节点 node_id=0 的连接。

总结

这些日志条目展示了 Kafka 客户端从初始化连接到成功发送消息并最终关闭连接的整个过程。通过这些日志,可以确认 Kafka 生产者已经成功连接到 Kafka 集群,并且在发送消息后正确关闭了连接。如果有任何连接或通信问题,这些日志也会提供有价值的调试信息。

相关推荐
阿里云云原生3 天前
数据链路再精简:Kafka 如何做到“零 ETL”一键写入 Apache Iceberg?
kafka
阿里云云原生9 天前
告别冗长链路!Kafka × Table Bucket 实现开放表格式零 ETL 实时入湖
云原生·kafka
whaledown15 天前
Kafka 与 Java 消息队列入门:用订单场景理解核心机制
java·kafka·消息队列·springboot
guslegend15 天前
第1章:初始Kafka
分布式·kafka
Devin~Y15 天前
大厂 Java 面试实录:从音视频内容社区到 AI RAG 的全链路技术设计
java·spring boot·redis·spring cloud·微服务·kafka·音视频
小马爱打代码16 天前
Kafka消息队列监控:Topic积压、吞吐量、Broker负载及消费者组全观测
分布式·kafka
Solis程序员16 天前
Raft:分布式系统的定海神针
java·分布式·kafka·rabbitmq·agent·raft
linux修理工18 天前
使用codebuddy学习kafka
分布式·学习·kafka
开开心心就好18 天前
解决截图被拦截黑屏问题的免费小工具
安全·智能手机·flink·kafka·pdf·音视频·1024程序员节
linux修理工18 天前
kafka积压
数据库·分布式·kafka