Win10安装和使用Apache Kafka

一、介绍

Apache Kafka是一个开源的分布式流处理平台,广泛用于构建高性能的数据管道和流式应用程序。它能够处理大量数据,支持实时数据流的传输和处理,适用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等多种大数据场景。

Kafka具有高吞吐量、可扩展性强、低延迟的特点,它通过分区、复制和容错机制来保证数据的持久性和可用性。在Kafka中,数据以主题(topics)的形式组织,生产者将消息发送到特定的主题,消费者从主题中读取消息。每个主题可以包含多个分区,分区内部的消息是有序的,并且可以跨多个服务器进行分布,以实现水平扩展。

阿里云提供了基于Apache Kafka构建的云消息队列服务,用户可以利用这项服务进行消息队列管理,而无需自己部署和运维Kafka集群,享受更加专业、可靠和安全的服务。

二、安装

1、官网下载安装包,选Kafka2.12-3.6.1的版本,对应Scala2.12,也对应Java8。

2、解压安装包,解压的目录不要太深,这样就安装成功了。

3、修改config/zookeeper.properties配置文件,修改dataDir目录,用于设置Zookeeper数据存储路径。

4、在安装目录下创建zk.cmd文件,写入下面命令,以后就能双击启动Zookeeper。

bash 复制代码
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

5、同理,修改config/server.properties配置文件,修改dataDir目录,用于设置Kafka数据存储路径。

6、在安装目录下创建kfk.cmd文件,写入下面命令,即可双击启动Kafka。

bash 复制代码
call bin/windows/kafka-server-start.bat config/server.properties

7、启动Zookeeper和Kafka之后,在data目录下会生成两个目录。启动顺序为Zookeeper--->Kafka;关闭顺序为Kafka--->Zookeeper。

三、使用

1、按顺序启动Zookeeper和Kafka之后,cmd输入jps,查看到代表Zookeeper进程的Jps、Kafka进程等。

2、创建主题

bash 复制代码
F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create
Created topic test.

3、查看主题列表

bash 复制代码
F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --list
test

4、查询主题详情

bash 复制代码
F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --topic test --describe
Topic: test     TopicId: FTQxT8f4TKqtB9wgO6PHvQ PartitionCount: 1       ReplicationFactor: 1    Configs:
        Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0

F:\SoftWare\kafka_2.12-3.6.1\bin\windows>

5、创建消费者

bash 复制代码
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

6、创建生产者

bash 复制代码
kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

7、生产者向Topic中输入数据,消费者就能订阅Topic消费到数据。

世上也有不花一分钱,不费一点力,就能成就高尚的道德品行,享受最大的人生安乐,遗留子孙以无穷的幸福,使自己来生得到忠贞良善眷属的方法。这种方法就是戒除邪淫、节制正淫。夫妇之间正当的淫欲,前面已经简单说明了节制与否的利害关系,这里不再论说。夫妇以外的邪淫之事,则无廉无耻,极秽极恶,乃是以人身去行畜生事。对于美艳的少女来求私奔,妖冶的少妇前来献媚,高尚明智的人都知道是莫大的祸殃,而严加拒绝,其结果必然是福星高照、皇天眷顾;无知愚人则当作莫大的幸福而欣然接纳,其结果必然导致灾祸降临,鬼神诛戮!君子是因祸而得福,小人则是因祸而加祸。因此古人说:"祸福无门,惟人自召。"世人假使在色欲关头,不能彻底看破,那就是将至高的德行、最大的安乐以及子孙无穷的幸福、来生忠贞良善的眷属,断送于片刻的欢娱之中。岂不可悲!

相关推荐
Amy187021118234 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
Fireworkitte6 小时前
Apache POI 详解 - Java 操作 Excel/Word/PPT
java·apache·excel
June bug8 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.20129 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退1239 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_4383354010 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
蚂蚁数据AntData11 小时前
从性能优化赛到社区Committer,走进赵宇捷在Apache Fory的成长之路
大数据·开源·apache·数据库架构
小湘西11 小时前
Apache HttpClient 的请求模型和 I/O 类型
java·http·apache
危险、15 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~15 小时前
windows安装RabbitMQ
分布式·rabbitmq