kafka和zookeeper单机部署

安装kafka需要jdk和zookeeper环境,因此先部署单机zk的测试环境。

zookeeper离线安装

下载地址:

zookeeper下载地址:Index of /dist/zookeeper

这里下载安装 zookeeper-3.4.6.tar.gz 版本,测试环境单机部署

上传服务器后解压缩

复制代码
tar -zxvf zookeeper-3.4.6.tar.gz 
sudo mv zookeeper-3.4.6  /usr/local/zookeeper

配置conf文件

Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。

复制代码
# 进入安装目录的.../conf目录下
cd conf/

# 复制样例文件
cp zoo_sample.cfg zoo.cfg

# 修改配置文件
vi zoo.cfg

# zookeeper内部的基本单位,单位是毫秒,这个表示一个tickTime为2000毫秒,在zookeeper的其他配置中,都是基于tickTime来做换算的
tickTime=2000

#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)。
initLimit=10

#syncLimit:集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)
syncLimit=5

# 数据存放文件夹,zookeeper运行过程中有两个数据需要存储,一个是快照数据(持久化数据)另一个是事务日志
dataDir=/data/zookeeper/data

# 客户端访问端口
clientPort=2181

启动zk

复制代码
# 启动服务
sh /usr/local/zookeeper/bin/zkServer.sh  start

# 查看服务状态
sh /usr/local/zookeeper/bin/zkServer.sh   status

# 测试客户端连接
sh /usr/local/zookeeper/bin/zkCli.sh

启动后查看zk状态

zookeeper参考文章:

【zookeeper安装】zookeeper安装详细教程(单机/集群部署)(linux版)-CSDN博客

zookeeper 单机版 zookeeper单机安装_蓝月亮的技术博客_51CTO博客

kafka安装

官网下载安装包

https://kafka.apache.org/downloads.html

注:kafka需要安装zookeeper使用

上传安装包解压文件:

复制代码
tar -zxvf kafka_2.12-2.7.2.tgz
sudo mv kafka_2.12-2.7.2  /usr/local/kafka

修改配置文件

复制代码
vim server.properties
添加或修改如下信息:

#broker的全局唯一编号,不能重复

broker.id=0

 

#用来监听链接的端口,producer或consumer将在此端口建立连接

listeners=PLAINTEXT://localhost:9092

 

#kafka消息存放的路径

log.dirs=/data/kafka/logs

 

#broker需要使用zookeeper保存meta数据

zookeeper.connect=localhost:2181 

启动kafka

复制代码
前台运行
sh bin/kafka-server-start.sh ./config/server.properties

后台运行
sh bin/kafka-server-start.sh -daemon ./config/server.properties

创建topic

创建测试test的topic

复制代码
sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic list

复制代码
sh bin/kafka-topics.sh --list --zookeeper localhost:2181

生产消息

复制代码
sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息

复制代码
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test
从0开始消费所有消息
复制代码
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test --from-beginning

kafka参考文章:

Kafka最全单机安装完整步骤加测试!!_kafka单机安装-CSDN博客

复制代码
kafka和zookeeper安装 - 蜂蜜log - 博客园
相关推荐
在未来等你3 小时前
Kafka面试精讲 Day 25:Kafka与大数据生态集成
大数据·分布式·面试·kafka·消息队列
武子康4 小时前
大数据-134 ClickHouse 单机+集群节点落地手册 | 安装配置 | systemd 管理 / config.d
大数据·分布式·后端
王嘉俊9256 小时前
HarmonyOS 分布式与 AI 集成:构建智能协同应用的进阶实践
人工智能·分布式·harmonyos
The 旺6 小时前
【案例实战】HarmonyOS分布式购物车:多设备无缝协同的电商体验
分布式·wpf·harmonyos
西***634721 小时前
从信号处理到智能协同:高清混合矩阵全链路技术拆解,分布式系统十大趋势抢先看
网络·分布式·矩阵
阿维的博客日记21 小时前
从夯到拉的Redis和MySQL双写一致性解决方案排名
redis·分布式·mysql
好玩的Matlab(NCEPU)1 天前
消息队列RabbitMQ、Kafka、ActiveMQ 、Redis、 ZeroMQ、Apache Pulsar对比和如何使用
kafka·rabbitmq·activemq
寒士obj1 天前
分布式组件【ZooKeeper】
微服务·zookeeper
笨蛋少年派1 天前
zookeeper简介
分布式·zookeeper·云原生
鸽鸽程序猿1 天前
【RabbitMQ】简介
分布式·rabbitmq