kafka安装部署,和基本操作

kafka下载地址:Apache Kafka

我这里下载3.5.1

2、通过rz命令上传到linux服务器

3、解压

tar -zxvf kafka_2.12-3.5.1.tgz

4、在config目录下修改配置文件server.properties

主要修改这两处:

#监听的端口

advertised.listeners=PLAINTEXT://自己的ip:9092

# 数据存储的⽬录 
log.dirs=/var/opt/kafka/kafka-logs

# 底层存储的数据(日志)留存时长(默认7天)
log.retention.hours=168

# 底层存储的数据(日志)留存量(默认1G)
#log.retention.bytes=1073741824

# 指定zk集群地址
zookeeper.connect=localhost:2181

使用kafka内部zookeeper

./bin/zookeeper-server-start.sh ./config/zookeeper.properties >/dev/null 2>&1 &

启动kafka

./bin/kafka-server-start.sh ./config/server.properties >/dev/null 2>&1 &

启动kafka报错:

数据存储的⽬录

log.dirs=,删除该目录下文件,再重启

kafka-topics.sh 创建 topic

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic myTopic

这将在本地Zookeeper实例上创建一个名为"myTopic"的Topic,使用单个副本和单个分区。

您可以更改副本因子和分区数,具体取决于您的需求。

--replication-factor 副本数

--partitions 分区数

使用旧版命令行报错:

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic cjj_gps

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic gps_log_topic

查看存在的topic:

./kafka-topics.sh --bootstrap-server localhost:9092 --list
相关推荐
李洋-蛟龙腾飞公司31 分钟前
HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据文件资产迁移
分布式·华为·harmonyos
技术路上的苦行僧3 小时前
分布式专题(10)之ShardingSphere分库分表实战指南
分布式·shardingsphere·分库分表
GitCode官方4 小时前
GitCode 光引计划投稿 | GoIoT:开源分布式物联网开发平台
分布式·开源·gitcode
小扳5 小时前
微服务篇-深入了解 MinIO 文件服务器(你还在使用阿里云 0SS 对象存储图片服务?教你使用 MinIO 文件服务器:实现从部署到具体使用)
java·服务器·分布式·微服务·云原生·架构
zquwei15 小时前
SpringCloudGateway+Nacos注册与转发Netty+WebSocket
java·网络·分布式·后端·websocket·网络协议·spring
道一云黑板报18 小时前
Flink集群批作业实践:七析BI批作业执行
大数据·分布式·数据分析·flink·kubernetes
qq_54702617918 小时前
Kafka 常见问题
kafka
core51218 小时前
flink sink kafka
flink·kafka·sink
飞来又飞去20 小时前
kafka sasl和acl之间的关系
分布式·kafka
MZWeiei21 小时前
Zookeeper的监听机制
分布式·zookeeper