Python发kafka消息

要在Python中向Kafka发送消息,你可以使用`kafka-python`库。首先,你需要安装这个库。如果你还没有安装它,可以通过pip来安装:

```bash

pip install kafka-python

```

接下来是一个简单的例子,展示如何创建一个生产者(Producer)并向Kafka主题(Topic)发送消息。

发送字符串消息

```python

from kafka import KafkaProducer

import json

初始化Kafka生产者

producer = KafkaProducer(

bootstrap_servers='localhost:9092', # Kafka服务器地址

value_serializer=lambda x: json.dumps(x).encode('utf-8') # 序列化函数

)

发送一条消息到名为 'my-topic' 的主题

producer.send('my-topic', value='Hello, World!')

确保所有消息都被发送出去

producer.flush()

关闭生产者连接

producer.close()

```

发送JSON格式的消息

如果你想发送更复杂的数据结构,比如字典,可以使用JSON序列化:

```python

发送JSON格式的消息

data = {'key': 'value', 'another_key': 42}

使用已经定义的生产者发送消息

producer.send('my-topic', value=data)

同样需要flush和close

producer.flush()

producer.close()

```

异步发送消息

KafkaProducer默认是异步发送消息的,即`send()`方法会立即返回而不会等待消息被成功发送。你可以通过回调函数来处理发送结果:

```python

def on_send_success(record_metadata):

print(f'Message sent to topic {record_metadata.topic} at offset {record_metadata.offset}')

def on_send_error(excp):

print(f'I am an errback {excp}')

handle exception

发送消息并附加回调

future = producer.send('my-topic', value='Another message')

future.add_callback(on_send_success)

future.add_errback(on_send_error)

阻塞直到所有消息发送完成

producer.flush()

关闭生产者连接

producer.close()

```

请确保你已经正确配置了Kafka集群,并且在代码中指定了正确的`bootstrap_servers`。如果你的Kafka集群运行在不同的机器上或端口不是9092,请相应地调整连接设置。此外,如果你的主题有特定的分区策略或者需要指定键值,也可以在`send`方法中提供`key`参数和其他选项。

相关推荐
必须得开心呀几秒前
为什么 python-docx 打不开加密的 .docx,Word COM 却能打开
python·word
VidDown4 分钟前
上传 2GB 文件别让 Django 接:分片上传、对象存储直传与秒传
python·django·音视频·状态模式·实时音视频·视频编解码·视频
打工仔折腾 AI24 分钟前
FaceFusion本地换脸实战:Windows整合包、模型选择与遮罩调参记录
人工智能·windows·后端·python·深度学习·性能优化·ai agent 实战
yi01125 分钟前
DAY24: LeetCode 167:两数之和 II|从暴力枚举到左右双指针
笔记·python·算法·leetcode·二分查找·双指针
kimnoic37 分钟前
Python常用命令提示符使用方法详解
开发语言·python
天天被压力1 小时前
【别再到处找免费股票数据API了:官方204个接口,32篇一次讲透 #25】北交所财务技术指标难搞?12个接口,报表+MACD全拿
java·人工智能·python
Είναι η κοπέλα1 小时前
模型量化完全指南:GGUF、GPTQ、AWQ 怎么选
人工智能·pytorch·python
yi0111 小时前
LeetCode 15:三数之和|排序 + 双指针,如何避免重复答案?
笔记·python·算法·leetcode·双指针
weixin199701080161 小时前
《1688消息服务落地方案:alibaba.message.* 与 Webhook 回调的可靠性与重试策略》(附Python源码)
开发语言·python
一只专注api接口开发的技术猿1 小时前
Open‑Claw 实战|告别页面逆向,快速搭建电商商品监控与数据分析完整方案
大数据·数据库·python·数据挖掘·数据分析