【JAVA】Java如何连接消费Kafka

文章目录


前言

在现代数据驱动的世界中,实时数据流处理已经成为许多应用的核心部分。Apache Kafka是一个分布式流处理平台,被广泛用于实时数据流处理、日志聚合和实时分析。在这篇博客中,我们将探讨如何使用Java来连接并消费Kafka的消息。


一、函数解释

在Java中,我们主要通过KafkaConsumer类来消费Kafka的消息。以下是一些主要的函数和配置:

KafkaConsumer: 这是Kafka消费者的主要类,我们使用它来创建消费者实例。
subscribe: 这个函数用于订阅一个或多个主题。
poll: 这个函数用于轮询新的消息。
Properties: 这是Java的一个类,我们用它来设置连接Kafka的配置,比如服务器地址、消费者组ID、反序列化类等。


二、代码实现

以下是一个基本的Java消费Kafka消息的例子:

c 复制代码
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

public class MyKafkaConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("my-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

三、总结

在这篇博客中,我们讨论了如何使用Java来连接并消费Kafka的消息。我们首先解释了KafkaConsumer的主要函数和配置,然后给出了一个基本的示例代码。希望这篇博客能帮助你理解如何在Java中使用Kafka。

虽然这个例子很简单,但是它展示了Java消费Kafka消息的基本步骤。在实际的项目中,你可能需要根据你的需求来修改这个例子,比如处理消息的逻辑、错误处理、连接多个Kafka服务器等。

相关推荐
小巫编程室13 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
深入云栈13 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构
惜.己14 小时前
Java结合idea简单使用Playwright
java·开发语言·自动化
利威尔xu15 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
ShineWinsu15 小时前
对于Qt:QSpacerItem常见属性以及方法的解析
开发语言·c++·qt·面试·系统架构·客户端·qspaceritem
Vex2une15 小时前
JDK 8 下载安装与环境变量配置完整指南(Windows新手图文教程)
java·windows·环境配置·环境变量·jdk8·jdk下载安装·java入门教程
文丑颜不良啊16 小时前
LeetCode3281~3300题目解析
java·leetcode
goehou17 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
nice_lcj52017 小时前
【从零理解计算机网络 · 02】分层模型:别背 OSI 七层,看数据怎么被“打包“和“拆包“
java·后端·tcp/ip·计算机网络·面试·osi·分层模型
ShineWinsu18 小时前
对于Qt:QGripLayout常见属性、方法以及QSizePolicy的解析
开发语言·c++·qt·面试·gui·客户端·网格