kafka之路-01从零搭建环境到SpringBoot集成

kafka之路-01从零搭建环境到SpringBoot集成

原创 今夜写代码 今夜写代码 2024年07月21日 21:58 浙江

一、kafka 架构简单介绍

  1. 生产者将消息发送到Broker 节点,消费者从Broker 订阅消息

2)消息订阅通常有服务端Push 和 消费端Pull两种方式,Kafka采用的是Pull 方式

Kafka 相关配置比较多,本节主要内容环境搭建,以及用Spring Boot 集成kafka,实现消息发送与订阅。一些其他概念比如Partition,消费位移等等,后面文章会继续。

二、环境搭建

2.1 jdk 安装

kafka依赖jdk 环境,从2.0.0版本开始,kafka已经不支持jdk7及以下版本,本文使用的版本是JDK 8 。具体可查看官网kafka指定版本对JDK版本限制。

安装之后配置jdk环境变量

复制代码
export JAVA_HOME="/opt/java/jdk1.8.0_281"export PATH=$JAVA_HOME/bin:$PATH

2.2 zookeeper 安装

zookeeper 主要用来管理集群、broken、topic、partition等元数据信息管理,官网下载压缩包,

还需要配置zookeeper 配置文件(conf/zoo.cfg),可以基于zoo_sample.cfg修改,直接复制一份然后根据实际情况修改相关配置

bash 复制代码
cp  zoo_sample.cfg zoo.cfg

配置环境变量

复制代码
export ZK_HOME=/opt/zookeeper/apache-zookeeper-3.8.4-binPATH=$PATH:$ZK_HOME/bin

创建相关目录

zookeeper配置文件默认 dataDir=/tmp/zookeeper,需要创建/tmp/zookeeper/log 和 /tmp/zookeeper/data 目录,并且目前全限最好设置777 否则启动报错

启动

复制代码
zkServer.sh start

三、kafka 安装

官网下载tgz文件,直接解压,解压后目录

配置修改

配置文件server.properties ,根据实际情况修改数据目录、zookeeper等信息,如​​​​​​​

复制代码
log.dirs=/tmp/kafka-logszookeeper.connect=localhost:2181/kafka

启动

复制代码
kafka-server-start.sh -daemon  server.properties 

启动成功后,一个单机模式kafka环境搭建好了,kafka提供了许多"脚本工具",甚至包含发送消息,消费消息。当然对于专注于后端开发者而言,代码操作,比Shell方便。

Spring Boot 集成

引入依赖

​​​​​​​

复制代码
  <dependency>      <groupId>org.springframework.kafka</groupId>      <artifactId>spring-kafka</artifactId>  </dependency>

添加配置

​​​​​​​​​​​​​​

复制代码
spring.kafka.bootstrap-servers=IP:9092spring.kafka.consumer.group-id=community-consumer-groupspring.kafka.consumer.enable-auto-commit=truespring.kafka.consumer.auto-commit-interval=3000

发现消息可以使用 KafkaTemplate,调用其send 方法

消费消息@KafkaListener

发送两条消息试试看

消息被正确消费,大功告成。

相关推荐
不太可爱的叶某人9 小时前
【学习笔记】kafka权威指南——第10章 监控kafka (7-10章只做了解)
笔记·学习·kafka
不太可爱的叶某人13 小时前
【学习笔记】kafka权威指南——第6章 可靠的数据传递
笔记·学习·kafka
稚辉君.MCA_P8_Java21 小时前
kafka解决了什么问题?mmap 和sendfile
java·spring boot·分布式·kafka·kubernetes
森林猿1 天前
docker-compose-kafka 4.1.0
docker·容器·kafka
東雪蓮☆2 天前
Filebeat+Kafka+ELK 日志采集实战
分布式·elk·kafka
努力买辣条2 天前
KafKa概念与安装
分布式·kafka
不太可爱的叶某人2 天前
【学习笔记】kafka权威指南——第8章 跨集群数据镜像(7-10章只做了解)
笔记·学习·kafka
不太可爱的叶某人3 天前
【学习笔记】kafka权威指南——第7章 构建数据管道(7-10章只做了解)
笔记·学习·kafka
青云交3 天前
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用
java·flink·kafka·工业物联网·设备故障预测·智能运维·实时流处理