confluent-kafka 模块生产数据消费数据

confluent-kafka 模块生产数据消费数据

本文介绍如何使用Confluent-Kafka-Python实现Kafka生产数据消费数据。

前言

kafka是一个开源的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

confluent-kafka 是什么

confluent-kafka是Python模块，推荐使用，性能优于kafka-python

参考文档：https://docs.confluent.io/current/clients/confluent-kafka-python/index.html

confluent_kafka-python地址

https://github.com/confluentinc/confluent-kafka-python

① 拉取confluent_kafka提供的生产者消费者用例，用例在example中。

git clone https://github.com/confluentinc/confluent-kafka-python.git

② 安装python3

③ 安装confluent_kafka

python3 -m pip install confluent_kafka

④ kafka地址

127.0.0.1:9092

⑤ 测试执行producer.py生产数据，kafka地址为127.0.0.1.197:9092，topic为topic_test1

python producer.py 127.0.0.1.197:9092 topic_test1

⑥ 输入任意数据内容。

test_message1
test_message2
test_message3
test_message4
test_message5

⑦ 消费数据

python consumer.py 127.0.0.1:9092 group topic_test1