Kafka系列(三)

本章内容继前两章1,2知识点后,开始结合java实际代码开发进行实践。其中三将讲述kafka座位消息中间件的代码样例,四将讲述kafka的stream流式计算处理。

消息中间件

首先说明一下,需要在虚拟机里面配置kafka,而kafka又依赖于zookeeper,它的一些元数据等都存储在zookeeper里。

如果需要了解如何安装kafka可以评论,这里不作为重点。

代码

pom依赖
XML 复制代码
      <!-- kafkfa -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka-clients</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
配置文件:

nacos里:

java 复制代码
spring:
  kafka:
    bootstrap-servers: //自己的虚拟机地址
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: ${spring.application.name}
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

这里我给了一个通用的配置,具体的bootstrap里的配置我也给出一个示例

这里我将公有配置放到了common里面,大家可以配置属于自己的隔离级别,我这里也是为了可以复用方便。这里的配置需要在生产者端和消费者端都要配置。

java 复制代码
spring:
  application:
    name: analysis-api #服务名称
  cloud:
    nacos:
      server-addr:  #nacos服务地址
      discovery: #服务注册的相关配置
        namespace: dev
        group: project
      config: #配置文件的相关信息
        namespace: dev #我的命名空间,无论是配置也好,服务也好,都在我的命名空间下
        group: project
        file-extension: yaml
        refresh-enabled: true
        extension-configs: #扩展配置,可以引用其他工程的配置文件
          - data-id: analysis-service-${spring.profiles.active}.yaml
            group: project
            refresh: true
        shared-configs:  #共享配置
          - data-id: swagger-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: logging-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: freemarker-config-dev.yaml
            group: common
            refresh: true
          - data-id: feign-${spring.profiles.active}.yaml
            group: common
            refresh: true
          - data-id: kafka-${spring.profiles.active}.yaml
            group: common
            refresh: true

  profiles:
    active: dev #环境名,拼接配置文件用的

在对应的service里注入

生产者:
java 复制代码
   @Autowired
    KafkaTemplate kafkaTemplate;

    public void methodyourself(){
    //调用
    kafkaTemplate.send(Constants.TOPIC,JSON.toJSONString(所传的值));
}

这里为了方便管理,可以将主题定义成一个常量。

消费者
java 复制代码
    @Autowired
    private WebService webService;

    @KafkaListener(topics = Constants.TOPIC)
    public void onMessage(String message){
        if(StringUtils.isNotBlank(message)){
            Map map = JSON.parseObject(message, Map.class);
            webService.updateByMap(map);
            log.info("文章修改,articleId={}",map.get("articleId"));
        }
    }

消费者监听相同的主题,然后生产者的时候对象是如何序列化的,消费者再给他按照对应的格式序列化回来,是字节序列号也好,json序列化也罢。

附上json依赖

XML 复制代码
     <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
相关推荐
ZHOU_WUYI7 小时前
一个简单的分布式追踪系统
分布式
码不停蹄的玄黓11 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-12311 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
要开心吖ZSH13 小时前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
幼稚园的山代王14 小时前
RabbitMQ 4.1.1初体验
分布式·rabbitmq·ruby
百锦再14 小时前
RabbitMQ用法的6种核心模式全面解析
分布式·rabbitmq·路由·消息·通道·交换机·代理
一路向北North14 小时前
RabbitMQ简单消息监听和确认
分布式·rabbitmq·ruby
真实的菜14 小时前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
一路向北North21 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
Amy187021118231 天前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式