kafka安装部署,和基本操作

kafka下载地址:Apache Kafka

我这里下载3.5.1

2、通过rz命令上传到linux服务器

3、解压

tar -zxvf kafka_2.12-3.5.1.tgz

4、在config目录下修改配置文件server.properties

主要修改这两处:

#监听的端口

advertised.listeners=PLAINTEXT://自己的ip:9092

# 数据存储的⽬录 
log.dirs=/var/opt/kafka/kafka-logs

# 底层存储的数据(日志)留存时长(默认7天)
log.retention.hours=168

# 底层存储的数据(日志)留存量(默认1G)
#log.retention.bytes=1073741824

# 指定zk集群地址
zookeeper.connect=localhost:2181

使用kafka内部zookeeper

./bin/zookeeper-server-start.sh ./config/zookeeper.properties >/dev/null 2>&1 &

启动kafka

./bin/kafka-server-start.sh ./config/server.properties >/dev/null 2>&1 &

启动kafka报错:

数据存储的⽬录

log.dirs=,删除该目录下文件,再重启

kafka-topics.sh 创建 topic

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic myTopic

这将在本地Zookeeper实例上创建一个名为"myTopic"的Topic,使用单个副本和单个分区。

您可以更改副本因子和分区数,具体取决于您的需求。

--replication-factor 副本数

--partitions 分区数

使用旧版命令行报错:

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic cjj_gps

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic gps_log_topic

查看存在的topic:

./kafka-topics.sh --bootstrap-server localhost:9092 --list
相关推荐
spiker_6 小时前
RabbitMQ 常见使用模式详解
分布式·rabbitmq
不能再留遗憾了6 小时前
RabbitMQ 高级特性——持久化
分布式·rabbitmq·ruby
成为大佬先秃头7 小时前
解决RabbitMQ设置TTL过期后不进入死信队列
分布式·中间件·rabbitmq·java-rabbitmq
七夜zippoe9 小时前
分布式系统实战经验
java·分布式
happycao12310 小时前
记一次kafka消息丢失问题排查
kafka
nomi-糯米10 小时前
Fisco Bcos 2.11.0配置console控制台2.10.0及部署调用智能合约
分布式·网络安全·区块链·智能合约·分布式账本
喜欢猪猪10 小时前
Kafka是如何保证数据的安全性、可靠性和分区的
分布式·kafka
芊言芊语10 小时前
分布式消息服务Kafka版的详细解析和配置方式
分布式·kafka
Alluxio10 小时前
选择Alluxio来解决AI模型训练场景数据访问的五大理由
大数据·人工智能·分布式·ai·语言模型
武子康11 小时前
大数据-133 - ClickHouse 基础概述 全面了解
java·大数据·分布式·clickhouse·flink·spark