【读取Kafka信息以及加密配置--Java】

进击的程序汪2024-08-12 15:37

文章目录

在读取Kafka的某个topic时，通常不需要在配置中写入所有集群的IP地址。Kafka客户端（如消费者和生产者）只需要知道Kafka集群中的一个或几个broker的地址即可。这些地址被称为"bootstrap servers"。客户端会通过这些bootstrap servers连接到Kafka集群，并获取集群的元数据（包括所有broker的地址、topic的分区信息等）。

读取Kafka的某个topic，所有集群的IP都要写吗

配置示例

假设你有一个Kafka集群，包含以下三个broker：

  • broker1:9092
  • broker2:9092
  • broker3:9092

你可以在Kafka消费者或生产者的配置中指定这些broker作为bootstrap servers：

properties 复制代码 
bootstrap.servers=broker1:9092,broker2:9092,broker3:9092

Java代码示例

以下是一个使用Kafka消费者读取某个topic的Java代码示例：

java 复制代码 
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9092,broker2:9092,broker3:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

重要注意事项

  1. 高可用性：虽然只需要指定一个或几个broker作为bootstrap servers，但为了提高高可用性，建议至少指定两个或三个broker的地址。如果指定的broker不可用，客户端仍然可以通过其他broker连接到集群。

  2. 动态扩展：Kafka集群可以动态扩展或缩减broker数量。客户端通过bootstrap servers获取集群的元数据，因此即使集群中的broker发生变化，客户端也能自动适应。

  3. 安全性：如果Kafka集群启用了安全特性（如SSL/TLS或SASL），需要在客户端配置中添加相应的安全配置。

总结

在读取Kafka的某个topic时，不需要在配置中写入所有集群的IP地址。只需指定一个或几个broker作为bootstrap servers，客户端会通过这些broker获取集群的元数据，并连接到集群中的其他broker。为了提高高可用性，建议至少指定两个或三个broker的地址。

SSL/TLS或SASL获取配置、设置配置

在Kafka中启用SSL/TLS或SASL可以增强通信的安全性。以下是如何配置Kafka客户端（生产者和消费者）以使用SSL/TLS或SASL的详细步骤。

1. 配置SSL/TLS

获取配置

要启用SSL/TLS，您需要以下证书和密钥文件：

  • CA证书：用于验证Kafka broker的证书。
  • 客户端证书：客户端的公钥证书。
  • 客户端密钥：客户端的私钥。

这些文件通常由您的安全团队或通过证书颁发机构（CA）生成和分发。

设置配置

假设您有以下文件：

  • ca-cert.pem：CA证书
  • client-cert.pem：客户端证书
  • client-key.pem：客户端密钥

您可以在Kafka客户端的配置中设置这些文件。

Java代码示例
java 复制代码 
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSSLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9093,broker2:9093,broker3:9093");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SSL Configuration
        props.put("security.protocol", "SSL");
        props.put("ssl.truststore.location", "/path/to/ca-cert.jks");
        props.put("ssl.truststore.password", "truststore-password");
        props.put("ssl.keystore.location", "/path/to/client-cert.jks");
        props.put("ssl.keystore.password", "keystore-password");
        props.put("ssl.key.password", "key-password");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

2. 配置SASL

获取配置

要启用SASL，您需要以下信息：

  • SASL机制：如PLAIN、SCRAM-SHA-256、SCRAM-SHA-512、GSSAPI（Kerberos）等。
  • 用户名和密码：用于身份验证的凭据。
设置配置

假设您使用SASL/PLAIN机制，并且有以下凭据：

  • 用户名 ：myuser
  • 密码 ：mypassword
Java代码示例
java 复制代码 
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSASLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9092,broker2:9092,broker3:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SASL Configuration
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");
        props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"myuser\" password=\"mypassword\";");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

3. 配置SSL/TLS和SASL联合使用

在某些情况下，您可能需要同时使用SSL/TLS和SASL来确保通信的安全性和身份验证。以下是如何配置Kafka客户端以同时使用SSL/TLS和SASL。

获取配置

您需要前面提到的SSL/TLS证书和密钥文件，以及SASL的用户名和密码。

设置配置

假设您使用SASL/PLAIN机制，并且有以下凭据：

  • 用户名 ：myuser
  • 密码 ：mypassword
Java代码示例
java 复制代码 
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSSLAndSASLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9093,broker2:9093,broker3:9093");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SSL Configuration
        props.put("security.protocol", "SASL_SSL");
        props.put("ssl.truststore.location", "/path/to/ca-cert.jks");
        props.put("ssl.truststore.password", "truststore-password");
        props.put("ssl.keystore.location", "/path/to/client-cert.jks");
        props.put("ssl.keystore.password", "keystore-password");
        props.put("ssl.key.password", "key-password");

        // SASL Configuration
        props.put("sasl.mechanism", "PLAIN");
        props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"myuser\" password=\"mypassword\";");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

4. 配置文件示例

有时，您可能希望将配置放在一个属性文件中，然后在代码中加载该文件。以下是一个示例属性文件（consumer.properties）：

properties 复制代码 
bootstrap.servers=broker1:9093,broker2:9093,broker3:9093
group.id=example-group
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

# SSL Configuration
security.protocol=SASL_SSL
ssl.truststore.location=/path/to/ca-cert.jks
ssl.truststore.password=truststore-password
ssl.keystore.location=/path/to/client-cert.jks
ssl.keystore.password=keystore-password
ssl.key.password=key-password

# SASL Configuration
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="myuser" password="mypassword";

然后在代码中加载该配置文件：

java 复制代码 
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.io.FileInputStream;
import java.io.IOException;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerFromFileExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        try (FileInputStream fis = new FileInputStream("consumer.properties")) {
            props.load(fis);
        } catch (IOException e) {
            e.printStackTrace();
            return;
        }
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

总结

通过以上示例，您可以看到如何配置Kafka客户端以使用SSL/TLS和SASL进行安全通信和身份验证。以下是一些关键点：

  1. SSL/TLS配置：

    • 需要CA证书、客户端证书和客户端密钥。
    • 配置ssl.truststore.location、ssl.truststore.password、ssl.keystore.location、ssl.keystore.password和ssl.key.password。

  2. SASL配置：

    • 需要指定SASL机制（如PLAIN、SCRAM等）和相应的凭据。
    • 配置security.protocol、sasl.mechanism和sasl.jaas.config。

  3. 联合使用SSL/TLS和SASL：

    • 可以同时配置SSL/TLS和SASL，以确保通信的安全性和身份验证。

  4. 配置文件：

    • 可以将配置放在一个属性文件中，然后在代码中加载该文件，简化配置管理。

通过这些配置，您可以确保Kafka客户端与Kafka集群之间的通信是安全的，并且客户端能够正确地进行身份验证。希望这些示例对您有所帮助！如果您有任何进一步的问题或需要更多的示例，请随时告诉我。

相关推荐
lisanmengmeng8 小时前
Ganglia分布式集群监控系统安装手册
分布式
我不会起名字32214 小时前
Kafka 分区数到底设几个：吞吐量、顺序性与 rebalance 代价的取舍
kafka·消息队列·调优·分区
Smoothcloud润云15 小时前
GPU算力平台推荐：新手租GPU时，镜像环境和显存应该怎么选？
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
程序员大阳17 小时前
副队长大数据教程(6)--四节点分布式集群搭建
大数据·分布式·集群·搭建·四节点
马六六i17 小时前
目前知名的分布式Ai数智共享商城哪家好
人工智能·分布式
大鹏说大话18 小时前
分布式事务怎么选型？2PC、TCC、SAGA、本地消息表一次讲清
分布式
Eloudy20 小时前
ASTRA-sim 3.0：通过高保真GPU和基础设施建模进行下一级分布式机器学习模拟
人工智能·分布式·机器学习
泡海椒20 小时前
JQuick-SQL 模块架构：从 SQL AST 到分布式执行
分布式·sql·架构
starzy199021 小时前
深度拆解 Kafka 源码：Producer 构造器装配了哪些核心组件
分布式·kafka
我不会起名字32221 小时前
Go 写 Kafka 消费者：sarama 的 3 个坑与优雅退出写法
kafka·消息队列·go·sarama
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会03如何新建文件夹？ 电脑新建文件夹的4种方法04GitHub 镜像站点05历年考研数学一、数学二、数学三真题试卷及答案PDF06几个好用的ip纯净度检测网站07蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接08Telegram APK 下载安装完整指南 — 2026年最新09苹果iPA游戏软件资源下载网站10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）