1、kerbors主体配置
生成主体：
for i in {01..11}; do kadmin.local -q "addprinc -randkey kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done
导出主体
for i in {01..11}; do kadmin.local -q "xst -k kafka.keytab kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done
2、kafka server kerbos配置
2.1 准备 server-kerberos.properties 文件。 拷贝 Kafka config 目录下（如果使用自带zk，配置从/BigData/run/kafka/config/kraft/进行拷贝，下同）的 server.properties 文件，命名为 kerberos-server.properties ，编辑认证配置相关的内容
kerberos-server.properties
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=root
2.2 准备 server-jaas.conf 配置文件。 kerberos 目录下，创建文件 kafka-server-jaas.conf，编辑内容如下
KafkaServer {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
//不同的主机，需修改成不同的keytab文件
keyTab="/BigData/run/kafka/config/kafka.keytab"
storeKey=true
useTicketCache=false
// Kafka Server 在 KDC 中的用户名全称
principal="kafka/hadoop01@EX AMPLE.COM";
};
2.3 准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。 拷贝 bin/kafka-server-start.sh 脚本，命名为 kafka-server-kerberos-start.sh，编辑最后一行，在最后一行代码之前，添加 Krb5 环境变量和 jaas.conf 配置信息
export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server
-Djava.security.krb5.conf=/etc/krb5.conf
-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-server-jaas.conf"
3、kafka client kerbos配置
3.1 第一步，准备 client-kerberos.properties 文件。 拷贝 Kafka config 目录下的 consumer.properties 文件，命名为 client-kerberos.properties ，编辑认证配置相关的内容：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka
3.2 第二步，准备 client-jaas.conf 配置文件。 kerberos 目录下，创建文件 kafka-client-jaas.conf，编辑内容如下：
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
//不同的主机，需修改成不同的keytab文件
keyTab="/BigData/run/kafka/config/kafka.keytab"
storeKey=true
useTicketCache=false
// Client 在KDC中的帐号
principal="[email protected]";
};
3.3
第三步，准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。 拷贝 bin/kafka-console-consumer.sh 脚本，命名为 kerberos-kafka-console-consumer.sh，编辑最后一行，在最后一行代码之前，添加 Krb5 环境变量和 jaas.conf 配置信息：
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf
-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-client-jaas.conf"
4、启动服务
如果使用kafka自带zk，需要先启动zk
/BigData/run/kafka/bin/zookeeper-server-start.sh -daemon /BigData/run/kafka/config/zookeeper.properties
kafka server启动
kafka-server-kerberos-start.sh -daemon /BigData/run/kafka/config/kraft/kerberos-server.properties
kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic test123 --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning
kafka-console-producer.sh --broker-list hadoop04.EXAMPLE.CN:9092 --topic wujunjie --producer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties
kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic wujunjie --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning
普通场景的启动服务和测试验证
bin/kafka-server-start.sh config/kraft/server.properties
kafka-console-producer.sh --bootstrap-server hadoop04:9092 --topic test
kafka-console-consumer.sh --bootstrap-server hadoop04:9092 --topic test
相关问题1:
1、Only one of inter.broker.listener.name and security.inter.broker.protocol should be set.
inter.broker.listener.name或者 security.inter.broker.protocol配置一个就好，不要2个都配置
Name of listener used for communication between brokers.
#inter.broker.listener.name=PLAINTEXT
保留security.inter.broker.protocol
2、java.lang.IllegalArgumentException: requirement failed: inter.broker.listener.name must be a listener name defined in advertised.listeners. The valid options based on currently configured listeners are PLAINTEXT
listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092,CONTROLLER://hadoop04.EXAMPLE.COM:9093
advertised.listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092
3、Caused by: javax.security.auth.login.LoginException: Could not login: the client is being asked for a password, but the Kafka client code does not currently support obtaining a password from the user. not available to garner authentication information from the user
用户名和密码不匹配或者权限有问题
-rw-------. 1 root root 7922 Aug 8 08:03 kafka.keytab
4、[2024-08-08 21:31:58,430] WARN [Producer clientId=console-producer] Bootstrap broker hadoop04.EXAMPLE.CN:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
kinit -kt /BigData/run/kafka/config/kafka.keytab kafka/[email protected]