confluent-kafka 模块生产数据消费数据

confluent-kafka 模块生产数据消费数据

本文介绍如何使用Confluent-Kafka-Python实现Kafka生产数据消费数据。

前言

kafka是一个开源的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

confluent-kafka 是什么

confluent-kafka是Python模块,推荐使用,性能优于kafka-python

参考文档:https://docs.confluent.io/current/clients/confluent-kafka-python/index.html

confluent_kafka-python地址
复制代码
https://github.com/confluentinc/confluent-kafka-python

① 拉取confluent_kafka提供的生产者消费者用例,用例在example中。

复制代码
git clone https://github.com/confluentinc/confluent-kafka-python.git

② 安装python3

③ 安装confluent_kafka

复制代码
python3 -m pip install confluent_kafka

④ kafka地址

复制代码
127.0.0.1:9092

⑤ 测试执行producer.py生产数据,kafka地址为127.0.0.1.197:9092,topic为topic_test1

复制代码
python producer.py 127.0.0.1.197:9092 topic_test1

⑥ 输入任意数据内容。

复制代码
test_message1
test_message2
test_message3
test_message4
test_message5

⑦ 消费数据

复制代码
python consumer.py 127.0.0.1:9092 group topic_test1
相关推荐
stark张宇9 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛12 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人14 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手3 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog4 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli6 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka