kafka常用命令

目录

Kafka通用命令

进入Kafka

1.进入kafka容器

2.进入kafka目录

查看Topic信息

1.查看所有Topic的列表

2.查看单个Topic的信息

查看ConsumerGroup信息

1.查看所有ConsumerGroup的列表

2.查看单个ConsumerGroup的信息

读取Topic中的数据

向Topic写入数据


Kafka通用命令

进入Kafka

1.进入kafka容器

docker exec -it kafka_kafka_1 /bin/bash

2.进入kafka目录

cd /opt/kafka/bin

查看Topic信息

1.查看所有Topic的列表

./kafka-topics.sh --bootstrap-server {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --list

2.查看单个Topic的信息

./kafka-topics.sh --bootstrap-server {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --topic {Topic名称} --describe

Partition代表了这个Topic的分区,每个分区会有一个Leader节点。

Replicas代表了这个Topic的备份数,Isr为这个分区的备份节点列表

查看ConsumerGroup信息

1.查看所有ConsumerGroup的列表

./kafka-consumer-groups.sh --bootstrap-server {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --list

2.查看单个ConsumerGroup的信息

./kafka-consumer-groups.sh --bootstrap-server {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --group {group名称} --describe

标题 描述 备注
TOPIC Topic名称
PARTITION 分区号
CURRENT-OFFSET 当前处理位置
LOG-END-OFFSET 总队列长度
LAG 延迟 不为0,说明当前分区有需要处理的数据,LAG越大达标需要处理的数据越多
CONSUMER-ID Consumer的Id 为空表示该分区暂时没有Consumer获取数据,需要查看对应的Consumer端的日志
HOST Consumer的IP
CLIENT-ID Client的Id

读取Topic中的数据

./kafka-console-consumer.sh --bootstrap-server {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --topic {Topic名称} [--from-beginning] [--group ConsumerGroup的id]

--from-begining为可选参数,添加该参数可以获取已处理的数据,不添加则会获取执行命令后新写入的数据。

--group为可选参数,添加后会占用ConsumerGroup进行数据获取,常用于快速清除Topic中积压的消息。

向Topic写入数据

./kafka-console-producer.sh --broker-list {kafka节点1的IP}:9092[,{kafka节点2的IP}:9092] --topic {Topic名称}

通过回车发送消息至Topic中

相关推荐
AAA小肥杨3 小时前
基于k8s的Python的分布式深度学习训练平台搭建简单实践
人工智能·分布式·python·ai·kubernetes·gpu
爬山算法6 小时前
Redis(73)如何处理Redis分布式锁的死锁问题?
数据库·redis·分布式
yumgpkpm7 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南
大数据·数据库·mysql·华为·oracle·kafka·cloudera
祈祷苍天赐我java之术8 小时前
Redis 数据类型与使用场景
java·开发语言·前端·redis·分布式·spring·bootstrap
猫林老师10 小时前
HarmonyOS线程模型与性能优化实战
数据库·分布式·harmonyos
阿里云云原生11 小时前
AI 时代的数据通道:云消息队列 Kafka 的演进与实践
云原生·kafka
在未来等你14 小时前
Elasticsearch面试精讲 Day 26:集群部署与配置最佳实践
大数据·分布式·elasticsearch·搜索引擎·面试
勤源科技15 小时前
分布式链路追踪中的上下文传播与一致性维护技术
分布式
互联网工匠15 小时前
分布式操作的一致性方案
分布式·架构
熊猫钓鱼>_>15 小时前
【案例实战】鸿蒙分布式智能办公应用的架构设计与性能优化
分布式·华为·harmonyos