如何为Kafka加上账号密码(二)

认证策略SASL/PLAIN

上篇文章中我们讲解了Kafka认证方式和基础概念,并比较了不同方式的使用场景。

我们在《2024年了,如何更好的搭建Kafka集群?》中集群统一使用PLAINTEXT通信。Kafka通常是在内网使用,但也有特殊的使用场景需要暴漏到公网上,如果未设置认证的Kafka集群允许通过公网访问,或暴漏给全部研发人员是极不安全的方式。

本小节我们就为Kafka添加最简单的认证方式,也就是SASL_PLAINTEXT(即SASL/PLAIN+ 非加密通道)。

配置服务集群节点

Kafka有三个地方可以做认证: borker节点之间的认证、controller节点间的认证、外部客户端连接集群认证。公司内部使用我们只需要配置外部客户端连接时认证就可以了。本文基于kraft单节点部署Kafka,该节点既是controller又是broker节点。

在开始前,请先前往官网下载安装包(本文使用 Kafka-v3.6.1): kafka.apache.org/downloads

1. 创建jaas配置文件

文件:volume/config/kafka-server-jaas.conf

json 复制代码
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    user_admin="123456";
};

账号密码以user_{USERNAME}="PASSWORD"这种形式配置,固定写死在jaas的配置文件中。

2. 修改配置文件

修改config/kraft/server.properties如下:

toml 复制代码
# 修改listeners和advertised
listeners=PLAINTEXT://:9092,CONTROLLER://:9093,SASL_PLAINTEXT://:19092
advertised.listeners=PLAINTEXT://192.168.56.103:9092,SASL_PLAINTEXT://192.168.56.103:19092
# 添加mechanisms配置
sasl.enabled.mechanisms=PLAIN

虽然该实验我们只有一个节点,但我们按照集群的方式分配端口:

  • 9092:用于broker节点内部通讯和内网客户端通信
  • 19092:用于broker节点外部通讯和外网客户端通信
  • 9093:用于多个controller节点之间的通信

我们只需要对外部流量做认证即可,也就是所有通过19092端口的通信需要经过认证。

配置文件中有三处需要注意:

  1. sasl.enabled.mechanisms=PLAIN 意思是采用PLAIN这种方式做认证。
  2. listeners中的SASL_PLAINTEXT监听器,表示监听19092端口,并对经过该端口的通信做认证。
  3. advertised.listeners中的SASL_PLAINTEXT监听器,表示仅允许符合192.168.56.103:19092的流量包抵达SASL_PLAINTEXT监听器。

关于advertised.listeners,Kafka有一套复杂的监听器系统。Kafka允许定义多个监听器监听不同端口,将不同的流量划分到不同的端口。这样的好处是当一个端口流量较大时,不影响其它端口的通信。

3. 启动节点

执行下面这条命令启动节点:

arduino 复制代码
KAFKA_OPTS=-Djava.security.auth.login.config=config/kraft/jaas.conf  bin/kafka-server-start.sh config/kraft/server.properties

环境变量KAFKA_OPTS用于指定JAAS配置文件。

经过上面3个步骤服务端就配置好了,下面我们使用客户端验证认证是否生效。

配置客户端

我们将介绍三种客户端连接方式:

  1. kafka命令工具测试
  2. offset explorer图形工具连接kafka
  3. flink连接kafka

kafka命令工具测试

在config目录中创建admin.conf

ini 复制代码
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="123456";

提示:确保账号密码与服务端配置一致

shell 复制代码
# 创建topic
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server=192.168.56.103:19092 --command-config=config/admin.conf
# 查看topic
bin/kafka-topics.sh --list --bootstrap-server=192.168.56.103:19092 --command-config=config/admin.conf

使用图形工具Offset explorer连接kafka

![[attach/Pasted image 20240204135019.png]] 此处只需要填写好集群名称即可,我们没有用zk版,zookeeper相关配置无需修改。 ![[attach/Pasted image 20240127151018.png]] ![[attach/Pasted image 20240127151059.png]] ![[attach/Pasted image 20240127151109.png]]

这三处设置好,就可以正常连接了。

Flink连接kafka

在无认证的基础上,额外添加三个认证参数:

  • SECURITY_PROTOCOL_CONFIG
  • SASL_MECHANISM
  • SASL_JAAS_CONFIG
java 复制代码
        Properties properties = new Properties();
        properties.setProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        properties.setProperty(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "5");
        properties.setProperty(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
        properties.setProperty(SaslConfigs.SASL_MECHANISM, "PLAIN");
        properties.setProperty(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username='admin' password='123456';");
        /*
        org.apache.flink.streaming包下面的消费者和生产者已被标记不建议使用
        org.apache.flink.connector.kafka 推荐使用该包中的工具类
         */
        KafkaSource<String> kafkaSource = KafkaSource.<String>builder()
                .setBootstrapServers("192.168.56.103:19092")
                .setTopics("test-topic")
                .setGroupId("test")
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .setStartingOffsets(OffsetsInitializer.earliest())
                .setProperties(properties)
                .build();

        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.enableCheckpointing(10000);
        env.setParallelism(1);
        DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "test-tip");
        stream.print();

        env.execute("Kafka to Print");

我们已经为Kafka集群配置好SASL/PLAIN的认证方式。但这个方式的缺点也是显而易见,它只能在启动Kafka前,固定填写好用户名和密码,无法做到灵活修改账号密码。若要修改,只能重启集群。下一篇文章,我们介绍一种可以灵活修改的认证方式,即SASL/SCRAM。


转载请保留本文连接 juejin.cn/editor/draf...

相关推荐
颜淡慕潇6 分钟前
【K8S问题系列 | 20 】K8S如何删除异常对象(Pod、Namespace、PV、PVC)
后端·云原生·容器·kubernetes
customer0810 分钟前
【开源免费】基于SpringBoot+Vue.JS安康旅游网站(JAVA毕业设计)
java·vue.js·spring boot·后端·kafka·开源·旅游
Aloudata16 分钟前
NoETL 自动化指标平台如何保障数据质量和口径一致性?
大数据·数据分析·数据质量·noetl
SelectDB技术团队1 小时前
Apache Doris 创始人:何为“现代化”的数据仓库?
大数据·数据库·数据仓库·数据分析·doris
搬码后生仔1 小时前
将 ASP.NET Core 应用程序的日志保存到 D 盘的文件中 (如 Serilog)
后端·asp.net
Suwg2091 小时前
《手写Mybatis渐进式源码实践》实践笔记(第七章 SQL执行器的创建和使用)
java·数据库·笔记·后端·sql·mybatis·模板方法模式
凡人的AI工具箱2 小时前
每天40分玩转Django:Django文件上传
开发语言·数据库·后端·python·django
spcodhu2 小时前
在 Ubuntu 上搭建 MinIO 服务器
linux·后端·minio
小码编匠3 小时前
2024 年各编程语言运行百万并发任务需多少内存?
java·后端·python
小码编匠3 小时前
C# 实现多线程启动停止暂停继续
后端·c#·.net