Kafka集群部署

一. Kafka下载与解压
  1. Kafka包下载:https://mirrors.cnnic.cn/apache/kafka/
  2. 上传解压:tar zxvf kafka_2.10-0.10.2.1.tgz
二. Kafka目录
  1. /bin是操作kafka的可执行脚本(包含windows版脚本)
  2. /config是kafka相关的配置文件
  3. /libs是依赖库
  4. /logs是日志数据目录。
三. Zookeeper配置
  1. 解压:tar zxvf zookeeper-3.4.10.tar.gz
  2. 修改Zookeeper配置

(1)zoo_sample.cfd复制一份并重命名为zoo.cfg,并修改以下参数。之后将修改后的zookeeper包分发的slave2和slave3节点上。

bash 复制代码
tickTime=2000:是Zookeeper服务器之间或服务器与客户端之间维持心跳的时间间隔,即每个tickTime时间就会发送一个心跳。
initLimit=10:初始化连接时最长能忍受多少个心跳时间间隔数
syncLimit=5:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总
的时间长度就是 2*tickTime=4 秒
dataDir=/usr/local/zookeeper/data/zkdata:Zookeeper保存数据的目录。默认情况下Zookeeper也会将写数据的日志文件写入该目录。
dataLogDir=/usr/local/zookeeper/data/log:日志目录,路径默认与dataDir一致,可设置。
clientPort=2181: 客户端与Zookeeper服务器连接的默认端口,Zookeeper会监听这个端口,接收客户端的请求。
#添加Zookeeper服务节点
server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=slave3:2888:3888 

(2)创建各节点服务编号

bash 复制代码
# hadoop1 节点
[root@slave1 zkdata]# touch /usr/local/zookeeper/data/zkdata/myid
[root@slave1 zkdata]# echo 1 > myid

# hadoop2 节点
[root@slave2 zkdata]# touch /usr/local/zookeeper/data/zkdata/myid
[root@slave2 zkdata]# echo 2 > myid

# hadoop3 节点
[root@slave3 zkdata]# touch /usr/local/zookeeper/data/zkdata/myid
[root@slave3 zkdata]# echo 3 > myid

(3)Zookeeper集群启动

bash 复制代码
# 在三个节点上分别执行
启动: ./zkServer.sh start
停止: ./zkServer.sh stop
四. Kafka配置

1、修改配置文件:/config/server.properties,之后将该配置文件覆盖同步到其他两个节点上。注意需要修改下broker.id值,slave1节点上broker.id设置为1,slave2节点上设置为2,slave3节点上设置为3。其他配置项不变。

bash 复制代码
broker.id=1   #kafka每个节点该值需要不同
host.name=ip地址
port=9092
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
log.dirs=/opt/kafka_2.10-0.10.2.1/kafka-logs
num.partitions=3
log.flush.interval.messages=1000
log.flush.interval.ms=3000
log.retention.hours=24
zookeeper.connect=ip1:2181,ip2:2181,ip37:2181  #填写三个节点具体IP地址
zookeeper.connection.timeout.ms=6000

2、Kafka启动

bash 复制代码
启动:./kafka-server-start.sh /opt/kafka_2.10-0.10.2.1/config/server.properties &
停止:./kafka-server-stop.sh
五. Kafka单机部署

kafka单机部署修改zk和kafka配置文件与集群slave1上的配置文件修改相同。

bash 复制代码
zookeeper启动: ./zookeeper-server-start.sh /opt/kafka_2.10-0.10.2.1/config/zookeeper.properties &
kafka启动: ./kafka-server-start.sh /opt/kafka_2.10-0.10.2.1/config/server.properties &
六. Kafka常用命令
bash 复制代码
(1) 创建Topic: ./kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 1 --topic test
(2) Producer发送消息: ./kafka-console-producer.sh --broker-list ip1:9092,ip2:9092,ip3:9092 --topic test (集群模式)
(3) Consumer接收消息: ./kafka-console-consumer.sh --zookeeper ip1:2181,ip2:2181,ip3:2181 --topic test --from-beginning (集群模式)
(4) 查看所有的主题: ./kafka-topics.sh --list --zookeeper ip:2181
(5) 查看topic的详细信息: ./kafka-topics.sh -zookeeper ip:2181 -describe -topic test
(6) 为topic增加partition: ./kafka-topics.sh --zookeeper ip:2181 --alter --partitions 20 --topic testKJ1
(7) 删除topic: ./kafka-topics.sh --zookeeper ip:2181 --delete --topic test

​

相关推荐
飞奔的瓜牛3 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人5 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人1 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手3 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star3 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog4 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli5 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
Alluxio6 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型