Python发送带key的kafka消息

在Python中发送带有键(key)的Kafka消息,通常会使用`confluent-kafka`或`kafka-python`这样的库。这里我将分别展示如何使用这两个库来实现这个功能。

使用 `confluent-kafka`

首先,确保你已经安装了`confluent-kafka`库。如果没有安装,可以使用pip进行安装:

```bash

pip install confluent-kafka

```

然后,你可以使用以下代码来发送带有键的消息:

```python

from confluent_kafka import Producer

def delivery_report(err, msg):

""" Called once for each message produced to indicate delivery result.

Triggered by poll() or flush(). """

if err is not None:

print(f'Message delivery failed: {err}')

else:

print(f'Message delivered to {msg.topic()} {msg.partition()}')

配置生产者

conf = {'bootstrap.servers': 'localhost:9092'}

创建生产者实例

producer = Producer(conf)

消息的键和值

message_key = 'my_key'

message_value = 'Hello, Kafka!'

发送消息

producer.produce('my_topic', key=message_key, value=message_value, callback=delivery_report)

触发所有消息的回调函数

producer.flush()

```

使用 `kafka-python`

同样地,确保你已经安装了`kafka-python`库。如果未安装,可以通过pip安装:

```bash

pip install kafka-python

```

接下来,使用以下代码来发送带有键的消息:

```python

from kafka import KafkaProducer

创建生产者实例

producer = KafkaProducer(bootstrap_servers='localhost:9092',

key_serializer=str.encode,

value_serializer=str.encode)

消息的键和值

message_key = 'my_key'

message_value = 'Hello, Kafka!'

发送消息

producer.send('my_topic', key=message_key, value=message_value)

确保所有消息都已发送

producer.flush()

关闭生产者

producer.close()

```

在这两个例子中,我们创建了一个Kafka生产者,并指定了一个本地运行的Kafka服务器地址(`localhost:9092`)。然后,我们定义了要发送的消息的键和值,并调用了相应的方法来发送消息。对于`confluent-kafka`,我们还设置了一个回调函数来处理消息的交付结果。

请根据你的实际环境调整配置,例如Kafka服务器的地址等。希望这能帮助到你!如果有任何其他问题,请随时提问。

相关推荐
HappyAcmen3 分钟前
5.通义向量模型调用
python
python-码博士39 分钟前
PyTorch 从零实现 Flow Matching:训练、采样、画图一条龙
人工智能·pytorch·python
王小王-1231 小时前
基于Python的车联网数据聚合与可视化分析平台设计与实现
python·车联网·新能源汽车·车联网聚合分析
叫我:松哥2 小时前
基于Flask框架的校园二手书籍交易平台,注重校园场景的特殊需求,通过学号认证保障用户真实性
后端·python·sqlite·flask·bootstrap
namexingyun2 小时前
开源前端生态如何成为 AI UI 生成的“燃料“:shadcn/ui、Tailwind CSS、Storybook 技术价值全解剖
java·前端·人工智能·python·ui·开源·ai编程
通信仿真爱好者2 小时前
第【17】期--考虑硬件损伤和不完美CSI的RIS-MISO系统的深度强化学习联合优化-python完整代码+参考文献
python·深度强化学习·ris
装不满的克莱因瓶2 小时前
自然语言处理常见任务——从文本理解到生成式AI的完整任务体系
人工智能·pytorch·python·深度学习·ai·自然语言处理
ptc学习者2 小时前
python 中描述符@property property 大概的样子
开发语言·python
zmzb01032 小时前
Python课后习题训练记录Day129
开发语言·python
秋92 小时前
Python工程师面试常问提问和回答(AI工程化方向 · 2026版)
人工智能·python·面试