什么是 Kafka
Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
Kafka 的基本术语
消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。
批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。
主题：消息的种类称为 主题（Topic）,可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。
分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的伸缩性，单一主题中的分区有序，但是无法保证主题中所有的分区有序
一、本地简单搭建kafka
1.1 下载并解压2.8.1版本 或者其他版本（点击下载：Apache Kafka）
下载后，解压到指定文件夹，并创建两个文件夹以后使用
1.2修改（如下图）配置文件
1.config下的zookeeper.properties，修改为刚才创建data的真实路径
2.config下的server.properties，修改为刚才创建kafka-log的真实路径
1.3启动项目 顺序启动
1.启动zookeeper
到解压文件夹下执行：不要关闭窗口
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
2.启动kafka
到解压文件夹下执行：不要关闭窗口
.\bin\windows\kafka-server-start.bat .\config\server.properties
3.创建一个为test的topic
不要关闭窗口
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
4.创建生产者
到解压文件夹下执行：
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test1
5.创建消费者
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test1 --from-beginning
6.测试一下
生产者发消息后消费者是否可以收到
二.在nodejs中使用kafka
2.1安装kafka-node
命令 npm install kafka-node
2.2 创建生产者
import kafka = require('kafka-node');
var client = new kafka.KafkaClient({kafkaHost:'127.0.0.1:9092'});
var Producer = kafka.Producer;
var topic = 'test1';
var payloads = [{ // 需要发送的一些配置信息
topic: topic,
messages: 'arrange' // 需要生产的消息
}]; // 此处必须要使用数组的形式，因为payloads的遍历采用的是foreach
producer.on('ready', function () {
producer.send(payloads, function (err, data) {
console.log(payloads);
console.log("=======");
console.log(data);
});
})
producer.on('error', function (err) {
console.log('error', err);
});
2.3创建消费者
import kafka = require('kafka-node');
var client = new kafka.KafkaClient({kafkaHost:'127.0.0.1:9092'});
var topic = 'test1';
var payloads = [{ // 需要发送的一些配置信息
topic: topic,
messages: 'arrange' // 需要生产的消息
}]; // 此处必须要使用数组的形式，因为payloads的遍历采用的是foreach
var options = { // 消费者的选择
host: 'localhost:9092',
sessionTimeout: 15000,
autoCommit: true
};
var consumer = new kafka.Consumer(client, payloads, options);
consumer.on('message', function (message) {
console.log(message);
});