Nodejs 第七十八章（Kafla）

什么是Kafka?

Kafka 的主要设计目标是提供一个可持久化的、高吞吐量的、容错的消息传递系统。它允许你以发布-订阅的方式发送和接收流数据，并且可以处理大量的消息，同时保持低延迟。Kafka 的设计还强调了分布式的特性，使得它可以在大规模集群中运行，处理大量数据和高并发的请求

kafka架构

1. Producer：生产者，消息的产生者，是消息的入口
2. Broker：Broker 是 kafka 一个实例，每个服务器上有一个或多个 kafka 的实例，简单的理解就是一台 kafka 服务器，kafka cluster表示集群的意思
3. Topic：消息的主题，可以理解为消息队列，kafka的数据就保存在topic。在每个 broker 上都可以创建多个 topic 。
4. Partition：Topic的分区，每个 topic 可以有多个分区，分区的作用是做负载，提高 kafka 的吞吐量。同一个 5. topic 在不同的分区的数据是不重复的，partition 的表现形式就是一个一个的文件夹
5. Message：每一条发送的消息主体。
6. Consumer：消费者，即消息的消费方，是消息的出口。
7. Consumer Group：我们可以将多个消费组组成一个消费者组，在 kafka 的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
8. Zookeeper：kafka 集群依赖 zookeeper 来保存集群的的元信息，来保证系统的可用性

安装Kafka

安装JDK 因为Kafka用了java编写

java官网 www.oracle.com/java/techno...
新版安装成功后无需配置环境变量自己就配好了，旧版本则需手动配置一下 如同rabbiteMQ 那一章节一样

注意点 需要在环境变量配置 JAVA_HOME 因为zookeeper 要读取这个环境变量 这个是必须的

测试是否安装成功

java --version

安装ZooKeeper

因为Kafka也用到了ZooKeeper

ZooKeeper 官网 zookeeper.apache.org/releases.ht...

1. 把 apache-zookeeper-3.9.2-bin.tar.gz 解压到你喜欢的目录 重命名 zookeeper
2. 打开 zookeeper\conf ，把zoo_sample.cfg重命名成zoo.cfg
3. 打开 zoo.cfg 修改 dataDir 改成 ./zookeeper/data
4. 把 D:\Applaaction\zookeeper\bin(例子) 配置到环境变量里面
5. 启动 打开cmd 执行 zkServer (启动完成之后不要关闭)

安装Kafka

Kafka 官网 kafka.apache.org/

1. 把下载好的文件解压到你喜欢的目录里面
2. 把kafka文件夹名字 重新命名更短的名字 否则后面执行命令会报错(因为cmd不能支持很长的命令)
3. 打开kafka/config/server.properties 文件 修改 log.dirs 改为 log.dirs=./logs
4. 启动kafka 在kafka根目录执行 以下命令

.\bin\windows\kafka-server-start.bat .\config\server.properties

Nodejs 编写基本用例测试kafka

安装依赖 kafkajs 官网 kafka.js.org/docs/gettin...

npm i kafkajs

生产者(也就是发送方)

// 导入所需的模块
import { Kafka } from 'kafkajs'

// 创建一个 Kafka 实例，配置客户端ID和代理服务器地址（broker）
const kafka = new Kafka({
    clientId: 'xiaoMan', // 客户端ID，用于在 Kafka 中标识此客户端
    brokers: ['localhost:9092'] // 代理服务器地址（broker），这里使用本地地址和默认端口
})

// 创建一个生产者实例
const producer = await kafka.producer()

// 连接到 Kafka 代理服务器
await producer.connect()

// 发送消息到指定主题
await producer.send({
    topic: 'task-1', // 指定要发送消息的主题
    messages: [
        { value: '这是一条测试数据' } // 要发送的消息内容
    ]
})

// 断开与 Kafka 代理服务器的连接
await producer.disconnect()

消费者(也就是接受消息的一方)

// 导入所需的模块
import { Kafka } from 'kafkajs'

// 创建一个 Kafka 实例，配置客户端ID和代理服务器地址（broker）
const kafka = new Kafka({
    clientId: 'xiaoMan', // 客户端ID，用于在 Kafka 中标识此客户端
    brokers: ['localhost:9092'] // 代理服务器地址（broker），这里使用本地地址和默认端口
})

// 创建一个消费者实例，指定消费者组ID
const consumer = await kafka.consumer({ groupId: 'my-group' })

// 连接到 Kafka 代理服务器
await consumer.connect()

// 订阅指定主题的消息，从头开始消费
await consumer.subscribe({ topic: 'task-1', fromBeginning: true })

// 启动消费者并处理每条消息
await consumer.run({
    eachMessage: async ({ topic, partition, message }) => {
        console.log({
            value: message.value.toString(),
        })
    },
})

测试案例