python 自建kafka消息生成和消费小工具

要将 Kafka 的消息生产和消费转换为 API 接口,我们可以使用 Python 的 Web 框架。其中 Flask 是一个轻量级且易于使用的选择。下面是一个简单的例子,使用 Flask 创建 API 来生成和消费 Kafka 消息。

1. 安装所需的库:

bash 复制代码
pip install kafka-python flask

2. 创建 Flask API:

python 复制代码
from flask import Flask, request, jsonify
from kafka import KafkaProducer, KafkaConsumer

app = Flask(__name__)

# 配置 Kafka
KAFKA_BROKER_URL = 'localhost:9092'
TOPIC = 'test_topic'
producer = KafkaProducer(bootstrap_servers=KAFKA_BROKER_URL)


@app.route('/send', methods=['POST'])
def send_message():
    message = request.json.get('message')
    if message:
        producer.send(TOPIC, value=message.encode('utf-8'))
        return jsonify({"status": "success", "message": "Message sent!"}), 200
    else:
        return jsonify({"status": "error", "message": "Message cannot be empty!"}), 400


@app.route('/receive', methods=['GET'])
def receive_message():
    consumer = KafkaConsumer(TOPIC, bootstrap_servers=KAFKA_BROKER_URL, auto_offset_reset='earliest')
    messages = []
    for message in consumer:
        messages.append(message.value.decode('utf-8'))
        if len(messages) > 5:  # 只收集最近的5条消息,可以根据需要调整
            break
    return jsonify(messages)


if __name__ == '__main__':
    app.run(debug=True, port=5000)

这个 Flask 应用程序定义了两个端点:

  • /send: 它接受 POST 请求并发送消息到 Kafka。
  • /receive: 它返回 Kafka 主题中的最近消息。

3. 使用 API:

  • 发送消息:
bash 复制代码
curl -X POST http://localhost:5000/send -H "Content-Type: application/json" -d '{"message": "Hello, Kafka!"}'
  • 接收消息:
bash 复制代码
curl http://localhost:5000/receive

这只是一个简单的示例,您可能需要添加错误处理、日志记录、认证、消息序列化和反序列化等功能,以满足更复杂的需求。

相关推荐
lula8883 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台4 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT4 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
用户3610588626124 小时前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
2401_868534785 小时前
逻辑网络设计
网络·python
2601_967979125 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂5 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
利威尔xu6 小时前
Go channel 关闭 3 个 panic:向已关闭 channel 发送,服务当场崩溃
开发语言·后端·golang·并发编程·channel
羲云网络6 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
山楂树の6 小时前
Java BigDecimal笔记
java·开发语言