Kafka日志记录

测试如下:

bash 复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:Probing node bootstrap-0 broker version
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:Broker version identified as 2.5.0
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection. 
View Event - IP Address: 115.238.48.67, Post ID: 1, Event Type: view, Created At: 2024-11-01T20:12:22.285797

这些日志条目详细记录了 Kafka 生产者与 Kafka 集群之间的连接和通信过程。下面是对每个日志条目的解释:

1. 连接到 Kafka 集群

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到 Kafka 集群中的 bootstrap-0 节点,该节点的地址是 110.40.130.231:9092

2. 探测 Kafka 节点版本

复制代码
INFO:kafka.conn:Probing node bootstrap-0 broker version
  • 解释 :Kafka 客户端正在探测 bootstrap-0 节点的 Kafka 版本,以确定其支持的 API 版本。

3. 连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到 bootstrap-0 节点。

4. 确定 Kafka 版本

复制代码
INFO:kafka.conn:Broker version identified as 2.5.0
  • 解释 :Kafka 客户端已经确定 bootstrap-0 节点的 Kafka 版本为 2.5.0

5. 设置 API 版本

复制代码
INFO:kafka.conn:Set configuration api_version=(2, 5, 0) to skip auto check_version requests on startup
  • 解释 :Kafka 客户端设置 API 版本为 (2, 5, 0),并在后续连接中跳过自动版本检查请求,以提高性能。

6. 连接到实际的 Kafka 节点

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: connecting to 110.40.130.231:9092 [('110.40.130.231', 9092) IPv4]
  • 解释 :Kafka 客户端正在尝试连接到实际的 Kafka 节点 node_id=0,该节点的地址也是 110.40.130.231:9092

7. 实际节点连接完成

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connecting> [IPv4 ('110.40.130.231', 9092)]>: Connection complete.
  • 解释 :Kafka 客户端成功连接到实际的 Kafka 节点 node_id=0

8. 关闭 bootstrap-0 连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=bootstrap-0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与 bootstrap-0 节点的连接,因为已经成功连接到实际的 Kafka 节点 node_id=0

9. 关闭 Kafka 生产者

复制代码
INFO:kafka.producer.kafka:Closing the Kafka producer with 9223372036.0 secs timeout.
  • 解释 :Kafka 生产者正在关闭,超时时间为 9223372036.0 秒(实际上是无限超时)。

10. 关闭实际节点连接

复制代码
INFO:kafka.conn:<BrokerConnection node_id=0 host=110.40.130.231:9092 <connected> [IPv4 ('110.40.130.231', 9092)]>: Closing connection.
  • 解释 :Kafka 客户端关闭了与实际 Kafka 节点 node_id=0 的连接。

总结

这些日志条目展示了 Kafka 客户端从初始化连接到成功发送消息并最终关闭连接的整个过程。通过这些日志,可以确认 Kafka 生产者已经成功连接到 Kafka 集群,并且在发送消息后正确关闭了连接。如果有任何连接或通信问题,这些日志也会提供有价值的调试信息。

相关推荐
山鬼龙王8 小时前
吃透 Kafka:一篇讲清楚核心原理和高频考点
kafka
pnoker2 天前
IoT DC3 消息总线:六适配器可插拔设计
物联网·架构·kafka·消息队列·rabbitmq
cxhello3 天前
消费者活着、心跳正常、日志干净,但它七天没拉过一条消息
python·kafka
2601_962064704 天前
SpringBoot 整合 Avro 与 Kafka
spring boot·kafka·linq
HashFlag4 天前
本地极简安装kafka
kafka
ZCBUS实时计算4 天前
信创混合存储架构落地实战|基于 ZCBUS 实时计算构建证券高可用实时风控数仓
大数据·架构·flink·kafka·dba
Sayai5 天前
Kafka 去 ZooKeeper 实战评估:KRaft 模式架构解析与生产落地决策指南
zookeeper·架构·kafka
StarRocks_labs5 天前
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
starrocks·kafka·lambda·查询·paimon·fluss·湖流一体
数智启示录6 天前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06
大数据·flink·kafka
数智启示录6 天前
实时数据湖 Flink CDC + Kafka +Doris 【企业级实战】之Kafka 事件缓冲层 【附核心源码】 04
java·大数据·flink·kafka·数据库开发