Kafka系列(三)

本章内容继前两章1,2知识点后,开始结合java实际代码开发进行实践。其中三将讲述kafka座位消息中间件的代码样例,四将讲述kafka的stream流式计算处理。

消息中间件

首先说明一下,需要在虚拟机里面配置kafka,而kafka又依赖于zookeeper,它的一些元数据等都存储在zookeeper里。

如果需要了解如何安装kafka可以评论,这里不作为重点。

代码

pom依赖
XML 复制代码
      <!-- kafkfa -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka-clients</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
配置文件:

nacos里:

java 复制代码
spring:
  kafka:
    bootstrap-servers: //自己的虚拟机地址
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: ${spring.application.name}
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

这里我给了一个通用的配置,具体的bootstrap里的配置我也给出一个示例

这里我将公有配置放到了common里面,大家可以配置属于自己的隔离级别,我这里也是为了可以复用方便。这里的配置需要在生产者端和消费者端都要配置。

java 复制代码
spring:
  application:
    name: analysis-api #服务名称
  cloud:
    nacos:
      server-addr:  #nacos服务地址
      discovery: #服务注册的相关配置
        namespace: dev
        group: project
      config: #配置文件的相关信息
        namespace: dev #我的命名空间,无论是配置也好,服务也好,都在我的命名空间下
        group: project
        file-extension: yaml
        refresh-enabled: true
        extension-configs: #扩展配置,可以引用其他工程的配置文件
          - data-id: analysis-service-${spring.profiles.active}.yaml
            group: project
            refresh: true
        shared-configs:  #共享配置
          - data-id: swagger-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: logging-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: freemarker-config-dev.yaml
            group: common
            refresh: true
          - data-id: feign-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: kafka-${spring.profiles.active}.yaml
            group: common
            refresh: true

  profiles:
    active: dev #环境名,拼接配置文件用的

在对应的service里注入

生产者:
java 复制代码
   @Autowired
    KafkaTemplate kafkaTemplate;

    public void methodyourself(){
    //调用
    kafkaTemplate.send(Constants.TOPIC,JSON.toJSONString(所传的值));
}

这里为了方便管理,可以将主题定义成一个常量。

消费者
java 复制代码
    @Autowired
    private WebService webService;

    @KafkaListener(topics = Constants.TOPIC)
    public void onMessage(String message){
        if(StringUtils.isNotBlank(message)){
            Map map = JSON.parseObject(message, Map.class);
            webService.updateByMap(map);
            log.info("文章修改,articleId={}",map.get("articleId"));
        }
    }

消费者监听相同的主题,然后生产者的时候对象是如何序列化的,消费者再给他按照对应的格式序列化回来,是字节序列号也好,json序列化也罢。

附上json依赖

XML 复制代码
     <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
相关推荐
P.H. Infinity3 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
java1234_小锋4 小时前
讲讲RabbitMQ 性能优化
kafka
龙哥·三年风水5 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
funnyZpC8 小时前
quartz集群增强版🎉
java·分布式·开源·集群·定时任务
明达技术8 小时前
工业4.0时代下的分布式IO模块
分布式
天冬忘忧10 小时前
Spark 程序开发与提交:本地与集群模式全解析
大数据·分布式·spark
一叶飘零_sweeeet11 小时前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
孤蓬&听雨12 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息
呼啦啦啦啦啦啦啦啦12 小时前
RabbitMQ 七种工作模式介绍
分布式·rabbitmq
qq_2037694912 小时前
win11安装最新rabbitmq
分布式·rabbitmq·ruby