【Springboot】整合kafka

目录

安装zookeeper

jdk安装

环境准备:CentOS7,jdk1.8

步骤如下:

  • 下载自己需要的版本

    这里使用的jdk1.8,获取链接如下

    链接:https://pan.baidu.com/s/1Bkvy0ChTVH0hrKkxiE4ZDg 提取码:1zws

  • 上传到安装目录并解压

    使用linux连接工具,将下载的JDK压缩包上传到要安装的目录下,这里使用的是windTerm,我是将压缩包上传到/usr/java目录下,解压命令如下

    xml 复制代码
    tar -zxvf jdk-8u152-linux-x64.tar.gz

    解压后目录下面多个文件夹

  • 配置环境变量

    xml 复制代码
    vim /etc/profile

    在文件最后面添加如下配置,JAVA_HOME是自己安装的目录,需要改为自己的目录

    xml 复制代码
    export JAVA_HOME=/usr/java/jdk1.8.0_152
    export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/    
    export PATH=$PATH:$JAVA_HOME/bin

    重新加载系统环境变量

    xml 复制代码
    source /etc/profile
  • 验证是否安装成功

    xml 复制代码
    java -version

    出现如下内容说明安装成功

zookeeper安装

  • 下载压缩包:

    官网地址:https://zookeeper.apache.org/releases.html

  • 上传到安装目录并解压

    我的是/usr/zookeeper,解压压缩包

  • 修改配置文件

    进入解压后的文件夹里面的conf目录下,该目录下有一个名zoo_sample.cfg文件,将该文件重新名为zoo.cfg,或者重新复制一份命名为zoo.cfg。使用vim命令打开zoo.cfg文件编辑,主要修改两个地方,data,log需要自己创建,我是直接在zookeeper安装目录下创建的

  • 启动zookeeper

    进入zookeeper安装目录下的bin目录

    进入bin目录如下

    启动zookeeper服务端:./zkServer.sh start

    查看启动状态:./zkServer.sh status

    启动zookeeper客户端

    xml 复制代码
    	[root@localhost bin]# ./zkCli.sh

安装kafka(非集群)

  • 首先是下载自己需要的压缩包
    官网下载地址:https://kafka.apache.org/downloads

  • 上传到安装目录并解压

    xml 复制代码
    tar -zxvf kafka压缩包名称
  • 修改kafka的server.properties配置文件
    进入解压后的文件能看到如下内容,server.properties配置文件在config目录下

    我这里是非集群,修改配置文件也比较简单,使用vi或者vim文本编辑命令打开server.properties文件,修改下面配置

    xml 复制代码
    #kafka服务器地址
    listeners=PLAINTEXT://10.3.1.156:9092 
    xml 复制代码
    #zk服务器地址,我这里zk跟kafka在一台虚拟机上
    zookeeper.connect=10.3.1.156:2181
    xml 复制代码
    log.dirs=/usr/kafka/kafka-logs

    非集群方法配置就完成了,下面就是启动kafka服务,进入kafka文件下的bin目录下,使用命令的方式体验消息发送和接收
    启动kafka

    xml 复制代码
    ./kafka-server-start.sh -daemon ../config/server.properties

    创建topic

    xml 复制代码
    ./kafka-topics.sh --bootstrap-server 10.3.1.156:9092 --create --topic test --replication-factor 1 --partitions 1

    查看topic

    xml 复制代码
    ./kafka-topics.sh --list --bootstrap-server 10.3.1.156:9092

    发消息

    xml 复制代码
    ./kafka-console-producer.sh --bootstrap-server 10.3.1.156:9092 --topic test

    接收消息

    xml 复制代码
    ./kafka-console-consumer.sh --bootstrap-server 10.3.1.156:9092 --topic test

    删除topic

    xml 复制代码
    ./kafka-topics.sh --bootstrap-server 10.3.1.156:9092 --delete --topic test

springboot项目整合配置

  • 新建的项目pom文件中导入kafka依赖

    xml 复制代码
    <dependency>
       <groupId>org.springframework.kafka</groupId>
       <artifactId>spring-kafka</artifactId>
    </dependency>
  • 配置文件添加kafka相关配置

    yaml 复制代码
    server:
      port: 8080
    spring:
      kafka:
        bootstrap-servers: 10.3.1.156:9092 #kafka服务地址
        producer: #生产者
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer
        consumer: #消费者
          key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          auto-offset-reset: earliest
  • 客户端发送消息

    java 复制代码
    @RestController
    public class KafkaProducerController {
    
        @Autowired
        private KafkaTemplate<String, String> kafkaTemplate;
    
        @GetMapping(value = "/sentMessage")
        public String sentMessage(@RequestParam("msg") String msg){
            kafkaTemplate.send("test", msg);
            return "发送成功";
        }
    }
  • 消费者接收消息

    java 复制代码
    @Component
    public class KafkaConsumerListener {
        @KafkaListener(topics = "test", groupId = "my-test-group")
        public void consumer(ConsumerRecord<String,String> record){
            System.out.println("接收到的消息:" + record.value());
        }
    }
相关推荐
热河暖男1 小时前
【实战解决方案】Spring Boot+Redisson构建高并发Excel导出服务,彻底解决系统阻塞难题
spring boot·后端·excel
0吉光片羽04 小时前
【SpringBoot】集成kafka之生产者、消费者、幂等性处理和消息积压
spring boot·kafka·linq
Ryan-Joee4 小时前
Spring Boot三层架构设计模式
java·spring boot
工一木子5 小时前
【Java项目脚手架系列】第七篇:Spring Boot + Redis项目脚手架
java·spring boot·redis
找不到、了7 小时前
MQ消息队列的深入研究
kafka·java-rocketmq·java-rabbitmq·java-activemq
菜菜菜小狗7 小时前
kafka----初步安装与配置
kafka
源码云商8 小时前
【带文档】网上点餐系统 springboot + vue 全栈项目实战(源码+数据库+万字说明文档)
数据库·vue.js·spring boot
predisw8 小时前
Kafka如何实现高性能
分布式·kafka
zy happy9 小时前
搭建运行若依微服务版本ruoyi-cloud最新教程
java·spring boot·spring cloud·微服务·ruoyi
wowocpp11 小时前
spring boot Controller 和 RestController 的区别
java·spring boot·后端