kafka常用命令

查看主题

./kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092

创建主题

./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic mytopic --partitions 1

查看消费者列表--list

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --list

查看消费者组详情--describe

查看指定消费组详情--group

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --group defaultConsumerGroup

查看所有消费组详情--all-groups

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --all-groups

查询消费者成员信息--members

所有消费组成员信息

./kafka-consumer-groups.sh --describe --all-groups --members --bootstrap-server 10.1.1.2:9092

指定消费组成员信息

./kafka-consumer-groups.sh --describe --members --group defaultConsumerGroup --bootstrap-server 10.1.1.2:9092

修改到最新offset

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic mytopic --to-latest --execute

重设位移位置

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic mytopic --to-offset 100 --execute

重设位移有几种选项:

--to-earliest: 设置到最早位移处,也就是0

--to-latest: 设置到最新处,也就是主题分区HW的位置

--to-offset NUM: 指定具体的位移位置

--shift-by NUM: 基于当前位移向前回退多少

--by-duration: 回退到多长时间

消费组参数说明:

CURRENT-OFFSET: 当前消费者位移

LOG-END-OFFSET: 分区最新位移

LAG: LOG-END-OFFSET减去CURRENT-OFFSET的值,表示积压量

CONSUMER-ID: 是Kafka自己生成的

CLIENT-ID: 是消费者代码里写的CLIENT ID,用于区分同消费者组中的不同客户端

删除指定topic与数据

./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --delete --topic inventory_topic

全局设置

修改 server.properties,如下的值:

log.retention.hours=72

log.cleanup.policy=delete

单独对某一个topic设置过期时间

但如果只有某一个topic数据量过大,想单独对这个topic的过期时间设置短点:

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000

retention.ms=86400000 为一天,单位是毫秒。

三、查看设置:

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics

Configs for topics:wordcounttopic are retention.ms=86400000

四、立即删除某个topic下的数据

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

相关推荐
徐小黑ACG6 小时前
nginx配置文件
linux·服务器·nginx
新时代牛马6 小时前
Linux VFS 完整篇:从path_openat、dentry/inode 到page cache 与挂载排障
linux·运维·服务器
java_logo6 小时前
Docker 部署 Rocky Linux:轻松搭建 RHEL 兼容企业级基础镜像平台
linux·docker·容器·rocky linux·基础镜像·轩辕镜像·rhel 兼容
拂拉氏6 小时前
【知识讲解】 Linux虚拟地址空间认识
linux·虚拟地址空间
新时代牛马8 小时前
Linux 驱动中断与定时完整篇:从 request_threaded_irq 到hrtimer 选型与排障
linux·运维·服务器
分支预测失败10 小时前
RISC-V 核间中断 IPI 实战:从 MSIP 寄存器到 IMSIC 消息投递
linux·后端
GeW11 小时前
RHCE考试避坑指南"90%考生容易忽略的细节
linux
键盘会跳舞12 小时前
【C++多线程】死锁诊断工具实战:从 Windows 到 Linux 的全链路排查
linux·c++·windows·死锁
拂拉氏13 小时前
【知识讲解】 Linux环境变量的认识与使用
linux·环境变量
zhangrelay13 小时前
答疑-是否软件源问题都必须更换为国内呢-
linux·笔记·学习·ubuntu·ros2