kafka安装部署,和基本操作

kafka下载地址:Apache Kafka

我这里下载3.5.1

2、通过rz命令上传到linux服务器

3、解压

复制代码
tar -zxvf kafka_2.12-3.5.1.tgz

4、在config目录下修改配置文件server.properties

主要修改这两处:

复制代码
#监听的端口

advertised.listeners=PLAINTEXT://自己的ip:9092

# 数据存储的⽬录 
log.dirs=/var/opt/kafka/kafka-logs

# 底层存储的数据(日志)留存时长(默认7天)
log.retention.hours=168

# 底层存储的数据(日志)留存量(默认1G)
#log.retention.bytes=1073741824

# 指定zk集群地址
zookeeper.connect=localhost:2181

使用kafka内部zookeeper

复制代码
./bin/zookeeper-server-start.sh ./config/zookeeper.properties >/dev/null 2>&1 &

启动kafka

复制代码
./bin/kafka-server-start.sh ./config/server.properties >/dev/null 2>&1 &

启动kafka报错:

数据存储的⽬录

log.dirs=,删除该目录下文件,再重启

kafka-topics.sh 创建 topic

复制代码
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic myTopic

这将在本地Zookeeper实例上创建一个名为"myTopic"的Topic,使用单个副本和单个分区。

您可以更改副本因子和分区数,具体取决于您的需求。

--replication-factor 副本数

--partitions 分区数

使用旧版命令行报错:

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic cjj_gps

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic gps_log_topic

查看存在的topic:

复制代码
./kafka-topics.sh --bootstrap-server localhost:9092 --list
相关推荐
DN金猿37 分钟前
rabbitmq发送的延迟消息时间过长就立即消费了
分布式·rabbitmq
ejinxian1 小时前
MySQL/Kafka数据集成同步,增量同步及全量同步
数据库·mysql·kafka
武子康3 小时前
大数据-74 Kafka 核心机制揭秘:副本同步、控制器选举与可靠性保障
大数据·后端·kafka
程序员不迷路4 小时前
Kafka学习
分布式·kafka
北i4 小时前
ZooKeeper 一致性模型解析:线性一致性与顺序一致性的平衡
分布式·zookeeper·云原生
IT技术小密圈4 小时前
图解分布式锁: 5分钟搞懂分布式锁
分布式·后端·面试
bing_1585 小时前
kafka 生产者是如何发送消息的?
分布式·kafka
Monly2111 小时前
RabbitMQ:数据隔离
分布式·rabbitmq
萧鼎15 小时前
Python pyzmq 库详解:从入门到高性能分布式通信
开发语言·分布式·python
纪莫16 小时前
Kafka如何保证「消息不丢失」,「顺序传输」,「不重复消费」,以及为什么会发送重平衡(reblanace)
kafka