k8s部署单节点 Kafka(KRaft 模式)并启用 SASL 认证

1.前置条件

  • 一套部署好的k8s集群
  • 已部署好Storage Class或PV存储,我使用的nfs csi存储驱动

2.k8s集群部署文档

https://www.cnblogs.com/Leonardo-li/p/18796443

3.csi-driver-nfs部署文档

https://www.cnblogs.com/Leonardo-li/p/18813140

4.kafka单节点部署

4.1 kafka configmap部署

CODEBLOCK_PLACEHOLDER_0001 CODEBLOCK_PLACEHOLDER_0002

4.2 kafka headless 部署

CODEBLOCK_PLACEHOLDER_0003 CODEBLOCK_PLACEHOLDER_0004

4.3 kafka statefulset 部署

CODEBLOCK_PLACEHOLDER_0005 CODEBLOCK_PLACEHOLDER_0006

5.kafka生产消息和消费消息测试(python)

5.1 安装库
bash 复制代码
pip install confluent_kafka
5.2 生产消息Producer.py
python 复制代码
from confluent_kafka import Producer

conf = {
    'bootstrap.servers': '192.168.4.60:9092',  # 替换真实IP
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'PLAIN',
    'sasl.username': 'admin',
    'sasl.password': '123456'
}

def delivery_report(err, msg):
    """静默处理回调,只关注错误"""
    if err:
        print(f"发送失败: {err}")
try:
    producer = Producer(conf)
    message = "Hello from Python"

    # 核心输出:生产内容
    print(f"已生产消息: {message}")

    producer.produce('test-topic', message, callback=delivery_report)
    producer.flush(timeout=5)

except Exception as e:
    print(f"生产异常: {str(e)}")
5.3 消费消息Consumer.py
bash 复制代码
from confluent_kafka import Consumer

conf = {
    'bootstrap.servers': '192.168.4.60:9092',  # 替换真实IP
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'PLAIN',
    'sasl.username': 'admin',
    'sasl.password': '123456',
    'group.id': 'test-group',
    'auto.offset.reset': 'earliest'
}

try:
    consumer = Consumer(conf)
    consumer.subscribe(['test-topic'])

    print("等待消费消息... (Ctrl+C退出)")
    while True:
        msg = consumer.poll(1.0)
        if msg and not msg.error():
            # 核心输出:消费内容
            print(f"已消费消息: {msg.value().decode('utf-8')}")

except KeyboardInterrupt:
    pass
finally:
    consumer.close()
5.4 执行Producer.py程序会显示
bash 复制代码
已生产消息: Hello from Python
5.5 执行Consumer.py程序
bash 复制代码
等待消费消息... (Ctrl+C退出)
已消费消息: Hello from Python

至此,Kafka(KRaft 模式)单节点并启用 SASL 认证就部署完了!!!

相关推荐
用户1494484813201 天前
同为消息队列,RocketMQ 和 Kafka 的底层设计差在哪?
kafka
开开心心就好1 天前
办公软件卸载不干净?专用工具一键清残留
java·前端·人工智能·智能手机·kafka·excel·memcache
ly76892 天前
ISR 收缩与 HW 推进:副本同步的边界条件与 UnderReplicated 排障
数据库·kafka·c#·linq·isr·hw·副本同步
此时不提桶,更待何时4 天前
06-09-A-Kafka架构与存储原理详解
架构·kafka·linq
醉颜凉5 天前
Kafka 与 RabbitMQ/RocketMQ 选型对比:场景匹配、性能基准与迁移成本
kafka·消息队列·rabbitmq·rocketmq·中间件选型
筑梦之路5 天前
K8S yaml文件部署kafka集群(Kraft模式)——筑梦之路
容器·kafka·kubernetes
筑梦之路5 天前
Kafka KRaft 模式 Kubernetes 部署手册(StatefulSet + apache/kafka 官方镜像)——筑梦之路
kafka·kubernetes·apache
智码看视界6 天前
技术选型指南:Pulsar vs Kafka:消息队列选型终极对比与压测
kafka·消息队列·pulsar·消息中间件·流处理·高吞吐·架构选型
俊哥大数据6 天前
Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战
分布式·flink·kafka·数据湖·paimon
今年下半年7 天前
记录一次IBMS物联网项目的架构设计及技术栈应用
物联网·websocket·网络协议·tcp/ip·微服务·udp·kafka