kafka安装部署，和基本操作

bai_shuang2023-09-20 11:52

kafka下载地址：Apache Kafka

我这里下载3.5.1

2、通过rz命令上传到linux服务器

3、解压

复制代码

tar -zxvf kafka_2.12-3.5.1.tgz

4、在config目录下修改配置文件server.properties

主要修改这两处：

复制代码

#监听的端口

advertised.listeners=PLAINTEXT://自己的ip:9092

# 数据存储的⽬录 
log.dirs=/var/opt/kafka/kafka-logs

# 底层存储的数据（日志）留存时长（默认7天）
log.retention.hours=168

# 底层存储的数据（日志）留存量（默认1G）
#log.retention.bytes=1073741824

# 指定zk集群地址
zookeeper.connect=localhost:2181

使用kafka内部zookeeper

复制代码

./bin/zookeeper-server-start.sh ./config/zookeeper.properties >/dev/null 2>&1 &

启动kafka

复制代码

./bin/kafka-server-start.sh ./config/server.properties >/dev/null 2>&1 &

启动kafka报错：

数据存储的⽬录

log.dirs=，删除该目录下文件，再重启

kafka-topics.sh 创建 topic

复制代码

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic myTopic

这将在本地Zookeeper实例上创建一个名为"myTopic"的Topic，使用单个副本和单个分区。

您可以更改副本因子和分区数，具体取决于您的需求。

--replication-factor 副本数

--partitions 分区数

使用旧版命令行报错：

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic cjj_gps

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic gps_log_topic

查看存在的topic：

复制代码

./kafka-topics.sh --bootstrap-server localhost:9092 --list