Python脚本消费多个Kafka topic

在Python中消费多个Kafka topic,可以使用kafka-python库,这是一个流行的Kafka客户端库。以下是一个详细的代码示例,展示如何创建一个Kafka消费者,并同时消费多个Kafka topic。

1.环境准备

(1)安装Kafka和Zookeeper:确保Kafka和Zookeeper已经安装并运行。

(2)安装kafka-python库 :通过pip安装kafka-python库。

bash复制代码

pip install kafka-python

2.示例代码

以下是一个完整的Python脚本,展示了如何创建一个Kafka消费者并消费多个topic。

from kafka import KafkaConsumer
import json
import logging
 
# 配置日志
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
logger = logging.getLogger(__name__)
 
# Kafka配置
bootstrap_servers = 'localhost:9092'  # 替换为你的Kafka服务器地址
group_id = 'multi-topic-consumer-group'
topics = ['topic1', 'topic2', 'topic3']  # 替换为你要消费的topic
 
# 消费者配置
consumer_config = {
    'bootstrap_servers': bootstrap_servers,
    'group_id': group_id,
    'auto_offset_reset': 'earliest',  # 从最早的offset开始消费
    'enable_auto_commit': True,
    'auto_commit_interval_ms': 5000,
    'value_deserializer': lambda x: json.loads(x.decode('utf-8'))  # 假设消息是JSON格式
}
 
# 创建Kafka消费者
consumer = KafkaConsumer(**consumer_config)
 
# 订阅多个topic
consumer.subscribe(topics)
 
try:
    # 无限循环,持续消费消息
    while True:
        for message in consumer:
            topic = message.topic
            partition = message.partition
            offset = message.offset
            key = message.key
            value = message.value
 
            # 打印消费到的消息
            logger.info(f"Consumed message from topic: {topic}, partition: {partition}, offset: {offset}, key: {key}, value: {value}")
 
            # 你可以在这里添加处理消息的逻辑
            # process_message(topic, partition, offset, key, value)
 
except KeyboardInterrupt:
    # 捕获Ctrl+C,优雅关闭消费者
    logger.info("Caught KeyboardInterrupt, closing consumer.")
    consumer.close()
 
except Exception as e:
    # 捕获其他异常,记录日志并关闭消费者
    logger.error(f"An error occurred: {e}", exc_info=True)
    consumer.close()

3.代码解释

(1)日志配置 :使用Python的logging模块配置日志,方便调试和记录消费过程中的信息。

(2)Kafka配置:设置Kafka服务器的地址、消费者组ID和要消费的topic列表。

(3)消费者配置:配置消费者参数,包括自动重置offset、自动提交offset的时间间隔和消息反序列化方式(这里假设消息是JSON格式)。

(4)创建消费者:使用配置创建Kafka消费者实例。

(5)订阅topic :通过consumer.subscribe方法订阅多个topic。

(6)消费消息:在无限循环中消费消息,并打印消息的详细信息(topic、partition、offset、key和value)。

(7)异常处理 :捕获KeyboardInterrupt(Ctrl+C)以优雅地关闭消费者,并捕获其他异常并记录日志。

4.运行脚本

确保Kafka和Zookeeper正在运行,并且你已经在Kafka中创建了相应的topic(topic1topic2topic3)。然后运行脚本:

bash复制代码

python kafka_multi_topic_consumer.py

这个脚本将开始消费指定的topic,并在控制台上打印出每条消息的详细信息。你可以根据需要修改脚本中的处理逻辑,比如将消息存储到数据库或发送到其他服务。

5.参考价值和实际意义

这个示例代码展示了如何在Python中使用kafka-python库消费多个Kafka topic,适用于需要处理来自不同topic的数据流的场景。例如,在实时数据处理系统中,不同的topic可能代表不同类型的数据流,通过消费多个topic,可以实现数据的整合和处理。此外,该示例还展示了基本的异常处理和日志记录,有助于在生产环境中进行调试和监控。

文章转载自: TechSynapse

原文链接: https://www.cnblogs.com/TS86/p/18559602

体验地址: 引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构

相关推荐
小尤笔记2 分钟前
利用Python编写简单登录系统
开发语言·python·数据分析·python基础
秦老师Q5 分钟前
Java基础第九章-Java集合框架(超详细)!!!
java·开发语言
计算机毕设源码qq-38365310416 分钟前
(附项目源码)Java开发语言,215 springboot 大学生爱心互助代购网站,计算机毕设程序开发+文案(LW+PPT)
java·开发语言·spring boot·mysql·课程设计
FreedomLeo17 分钟前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas
无尽的大道17 分钟前
深入理解 Java 阻塞队列:使用场景、原理与性能优化
java·开发语言·性能优化
建群新人小猿22 分钟前
会员等级经验问题
android·开发语言·前端·javascript·php
007php00736 分钟前
GoZero 上传文件File到阿里云 OSS 报错及优化方案
服务器·开发语言·数据库·python·阿里云·架构·golang
数据小小爬虫37 分钟前
如何利用Java爬虫获得1688店铺详情
java·开发语言
Tech Synapse38 分钟前
Python网络爬虫实践案例:爬取猫眼电影Top100
开发语言·爬虫·python
biomooc1 小时前
R语言/Rstudio 报错
开发语言·r语言