kafka 3.x 配置kerbos

1、kerbors主体配置

生成主体:

for i in {01..11}; do kadmin.local -q "addprinc -randkey kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done

导出主体

for i in {01..11}; do kadmin.local -q "xst -k kafka.keytab kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done

2、kafka server kerbos配置

2.1 准备 server-kerberos.properties 文件。 拷贝 Kafka config 目录下(如果使用自带zk,配置从/BigData/run/kafka/config/kraft/进行拷贝,下同)的 server.properties 文件,命名为 kerberos-server.properties ,编辑认证配置相关的内容

kerberos-server.properties

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.mechanism.inter.broker.protocol=GSSAPI

sasl.enabled.mechanisms=GSSAPI

sasl.kerberos.service.name=root

2.2 准备 server-jaas.conf 配置文件。 kerberos 目录下,创建文件 kafka-server-jaas.conf,编辑内容如下

KafkaServer {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

//不同的主机,需修改成不同的keytab文件

keyTab="/BigData/run/kafka/config/kafka.keytab"

storeKey=true

useTicketCache=false

// Kafka Server 在 KDC 中的用户名全称

principal="kafka/hadoop01@EX AMPLE.COM";

};

2.3 准备 kafka-server-kerberos-start.sh 文件,添加 Kerberos 认证配置。 拷贝 bin/kafka-server-start.sh 脚本,命名为 kafka-server-kerberos-start.sh,编辑最后一行,在最后一行代码之前,添加 Krb5 环境变量和 jaas.conf 配置信息

export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server

-Djava.security.krb5.conf=/etc/krb5.conf

-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-server-jaas.conf"

3、kafka client kerbos配置

3.1 第一步,准备 client-kerberos.properties 文件。 拷贝 Kafka config 目录下的 consumer.properties 文件,命名为 client-kerberos.properties ,编辑认证配置相关的内容:

security.protocol=SASL_PLAINTEXT

sasl.mechanism=GSSAPI

sasl.kerberos.service.name=kafka

3.2 第二步,准备 client-jaas.conf 配置文件。 kerberos 目录下,创建文件 kafka-client-jaas.conf,编辑内容如下:

KafkaClient {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

//不同的主机,需修改成不同的keytab文件

keyTab="/BigData/run/kafka/config/kafka.keytab"

storeKey=true

useTicketCache=false

// Client 在KDC中的帐号

principal="kafka@EXAMPLE.COM";

};

3.3

第三步,准备 kafka-server-kerberos-start.sh 文件,添加 Kerberos 认证配置。 拷贝 bin/kafka-console-consumer.sh 脚本,命名为 kerberos-kafka-console-consumer.sh,编辑最后一行,在最后一行代码之前,添加 Krb5 环境变量和 jaas.conf 配置信息:

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf

-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-client-jaas.conf"

4、启动服务

如果使用kafka自带zk,需要先启动zk

/BigData/run/kafka/bin/zookeeper-server-start.sh -daemon /BigData/run/kafka/config/zookeeper.properties

kafka server启动

kafka-server-kerberos-start.sh -daemon /BigData/run/kafka/config/kraft/kerberos-server.properties

kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic test123 --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning

kafka-console-producer.sh --broker-list hadoop04.EXAMPLE.CN:9092 --topic wujunjie --producer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties

kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic wujunjie --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning

普通场景的启动服务和测试验证

bin/kafka-server-start.sh config/kraft/server.properties

kafka-console-producer.sh --bootstrap-server hadoop04:9092 --topic test

kafka-console-consumer.sh --bootstrap-server hadoop04:9092 --topic test

相关问题1:

1、Only one of inter.broker.listener.name and security.inter.broker.protocol should be set.

inter.broker.listener.name或者 security.inter.broker.protocol配置一个就好,不要2个都配置

Name of listener used for communication between brokers.

#inter.broker.listener.name=PLAINTEXT

保留security.inter.broker.protocol

2、java.lang.IllegalArgumentException: requirement failed: inter.broker.listener.name must be a listener name defined in advertised.listeners. The valid options based on currently configured listeners are PLAINTEXT

listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092,CONTROLLER://hadoop04.EXAMPLE.COM:9093

advertised.listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092

3、Caused by: javax.security.auth.login.LoginException: Could not login: the client is being asked for a password, but the Kafka client code does not currently support obtaining a password from the user. not available to garner authentication information from the user

用户名和密码不匹配或者权限有问题

-rw-------. 1 root root 7922 Aug 8 08:03 kafka.keytab

4、[2024-08-08 21:31:58,430] WARN [Producer clientId=console-producer] Bootstrap broker hadoop04.EXAMPLE.CN:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

kinit -kt /BigData/run/kafka/config/kafka.keytab kafka/EXAMPLE.CN@EXAMPLE.CN

相关推荐
找不到、了32 分钟前
分布式理论:CAP、Base理论
java·分布式
Code季风1 小时前
微服务分布式配置中心:Gin Web 服务层与 gRPC 服务层集成 Nacos 实战
分布式·微服务·rpc·架构·go·gin·consul
王小王-1233 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
sql2008help3 小时前
5-Kafka-replication(副本机制)概念
分布式·kafka
草履虫建模5 小时前
Redis:高性能内存数据库与缓存利器
java·数据库·spring boot·redis·分布式·mysql·缓存
Jay Kay12 小时前
TensorFlow内核剖析:分布式TensorFlow架构解析与实战指南
分布式·架构·tensorflow
亿牛云爬虫专家14 小时前
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
分布式·python·架构·kubernetes·爬虫代理·监测·采集
群联云防护小杜20 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫20 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
上上迁1 天前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式