Kafka日志记录

测试如下:

bash 复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:Probing node bootstrap-0 broker version
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:Broker version identified as 2.5.0
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
View Event - IP Address: 115.238.48.67, Post ID: 1, Event Type: view, Created At: 2024-11-01T20:12:22.285797

这些日志条目详细记录了 Kafka 生产者与 Kafka 集群之间的连接和通信过程。下面是对每个日志条目的解释:

1. 连接到 Kafka 集群

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到 Kafka 集群中的 bootstrap-0 节点,该节点的地址是 110.40.130.231:9092

2. 探测 Kafka 节点版本

复制代码
INFO:kafka.conn:Probing node bootstrap-0 broker version
  • 解释 :Kafka 客户端正在探测 bootstrap-0 节点的 Kafka 版本,以确定其支持的 API 版本。

3. 连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到 bootstrap-0 节点。

4. 确定 Kafka 版本

复制代码
INFO:kafka.conn:Broker version identified as 2.5.0
  • 解释 :Kafka 客户端已经确定 bootstrap-0 节点的 Kafka 版本为 2.5.0

5. 设置 API 版本

复制代码
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
  • 解释 :Kafka 客户端设置 API 版本为 (2, 5, 0),并在后续连接中跳过自动版本检查请求,以提高性能。

6. 连接到实际的 Kafka 节点

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到实际的 Kafka 节点 node_id=0,该节点的地址也是 110.40.130.231:9092

7. 实际节点连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到实际的 Kafka 节点 node_id=0

8. 关闭 bootstrap-0 连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与 bootstrap-0 节点的连接,因为已经成功连接到实际的 Kafka 节点 node_id=0

9. 关闭 Kafka 生产者

复制代码
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
  • 解释 :Kafka 生产者正在关闭,超时时间为 9223372036.0 秒(实际上是无限超时)。

10. 关闭实际节点连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与实际 Kafka 节点 node_id=0 的连接。

总结

这些日志条目展示了 Kafka 客户端从初始化连接到成功发送消息并最终关闭连接的整个过程。通过这些日志,可以确认 Kafka 生产者已经成功连接到 Kafka 集群,并且在发送消息后正确关闭了连接。如果有任何连接或通信问题,这些日志也会提供有价值的调试信息。

相关推荐
itLaity25 分钟前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
IT邦德11 小时前
OGG同步Oracle到Kafka不停库,全量加增量
数据库·oracle·kafka
黄雪超21 小时前
Kafka——多线程开发消费者实例
大数据·分布式·kafka
武子康1 天前
大数据-52 Kafka 架构全解析:高吞吐、高可用分布式消息系统的核心奥秘
大数据·后端·kafka
ATaylorSu2 天前
Kafka入门指南:从零开始掌握分布式消息队列
笔记·分布式·学习·kafka
不辉放弃2 天前
kafka的shell操作
数据库·kafka·pyspark·大数据开发
cui_win3 天前
kafka 消费者组
分布式·kafka
Albert.H.Holmes3 天前
详述消息队列kafka
分布式·kafka
梦想画家3 天前
深入解析:如何在Kafka中配置Source和Sink连接器构建高效数据管道
kafka·kafka connector
健康平安的活着3 天前
kafka生产端和消费端的僵尸实例以及解决办法
分布式·kafka