Kafka集群修改单个Topic数据保存周期

在大数据部门经常使用Kafka集群,有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长,一旦被消费后就不需要一直保留。默认Topic存储时间为7day,个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期,调整为3天或者1天

目前修改Topic 有两种方法

  • 通过修改Kafka配置文件,使全局生效,所有的Topic数据保存时间都进行修改
  • 通过参数调整某个Topic数据保存时间

以上两种方式均进行演示

相关版本信息

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --version
3.4.0 (Commit:2e1947d240607d53)

[root@web-03 ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

[root@web-03 ~]# uname -r
3.10.0-693.el7.x86_64

全局生效

修改配置文件

复制代码
[root@web-03 ~]# vim /opt/kafka/config/server.properties

# The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=12

#单位为小时

如果是集群需要集群内其它机器也修改

修改完配置文件重启,配置文件是全局生效

单个Topic生效

首先我们先查看目前的Topic

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.31.71:9092
tw222
two

使用describe参数查看详细Topic数值

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222 TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2 ReplicationFactor: 1 Configs: segment.bytes=1073741824
Topic: tw222 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: tw222 Partition: 1 Leader: 0 Replicas: 0 Isr: 0
[root@web-03 ~]#

使用kafka-configs.sh修改Topic名称为tw222

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-configs.sh --bootstrap-server 192.168.31.71:9092 --alter --entity-name tw222 --entity-type topics --add-config retention.ms=86400000
#下面为输出结果
Completed updating config for topic tw222.

#--entity-name 指定Topic名称 tw222
#--entity-type topics 类型为Topic
#retention.ms=数据保留时间
  • 86400000毫秒=1天
  • 172800000毫秒=2天
  • 259200000毫秒=3天

毫秒计算器可以访问下面的地址,由abcdocker维护
在线时间换算,年月周天换算,时间单位换算工具-abcdocker在线工具系统

接下来我们查看效果

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222 TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2 ReplicationFactor: 1 Configs: segment.bytes=1073741824,retention.ms=86400000
Topic: tw222 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: tw222 Partition: 1 Leader: 0 Replicas: 0 Isr: 0

#retention.ms=86400000这里表示已经为Topic添加了过期时间

相关文章:

  1. 消息队列 Kafka --未完
  2. Zookeeper集群节点异常 Unable to load database on disk java.io.IOException
相关推荐
Hello_Embed5 小时前
STM32HAL 快速入门(二十):UART 中断改进 —— 环形缓冲区解决数据丢失
笔记·stm32·单片机·学习·嵌入式软件
咸甜适中5 小时前
rust语言 (1.88) 学习笔记:客户端和服务器端同在一个项目中
笔记·学习·rust
Grassto6 小时前
RAG 从入门到放弃?丐版 demo 实战笔记(go+python)
笔记
Magnetic_h6 小时前
【iOS】设计模式复习
笔记·学习·ios·设计模式·objective-c·cocoa
周周记笔记9 小时前
学习笔记:第一个Python程序
笔记·学习
丑小鸭是白天鹅9 小时前
Kotlin协程详细笔记之切线程和挂起函数
开发语言·笔记·kotlin
潘达斯奈基~9 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
..过云雨9 小时前
05.【Linux系统编程】进程(冯诺依曼体系结构、进程概念、进程状态(注意僵尸和孤儿)、进程优先级、进程切换和调度)
linux·笔记·学习
咸甜适中10 小时前
rust语言 (1.88) egui (0.32.2) 学习笔记(逐行注释)(二十八)使用图片控件显示图片
笔记·学习·rust·egui
一又四分之一.10 小时前
高数基础知识(下)②
笔记